「画像処理」の範疇とちょっと違うかもしれないけど質問です。

1つの凸多角形（頂点数4か5）と長方形が1つあり、
それらが部分的に重なるものとします。
このとき、重なった部分を表現する多角形の頂点を取り出すような、
何か一般的なアルゴリズムがあれば紹介して頂けないでしょうか。