setは使わないほうがいいよ。以外に消費メモリが大きい。
map > set > list > vector
後々、順序づけの方法を変えたくなるのが人の常。仕様変更に弱い。
並べ替えされた配列も欲しくなる。setだけでなく、mapも仕様変更に弱い。

素直にvectorにするというのが普通だと思う。