ListViewに画像を埋め込み、初期状態はinvisibleに設定。

OnItemLongClickListenerイベント内で画像をvisibleに設定。
その際、件数が少なければ問題ないのですが、
件数が多い場合に選択した行以外の画像もvisibleに設定されてしまいます。

どうすればいいでしょうか？