getCount が非表示なぶんを含まない数を返すようにして、
getView とかに渡される position も非表示なぶんをスキップするようにしないと