速度を気にするのなら重複分を削除よりも
ソートの方が気を使うべきなんじゃ