簡単に考えると
1 バウンディングボックスを考える
2 境界上の任意の点を始点とする
3 現在の点から内側に向かって最も右側の点を求める
4 その点を次の点として始点に戻るまで3を繰り返す

これだとn個の点でm角形ができるときにO(nm)なんだが、
もっと効率いい方法あるかな。