HashSetを作ってる時間が償却できるならHashSetでContainsをする
あとObservableCollectionを継承してOnCollectionChangedを一時的に止める