多角形を構成する辺の上にそれぞれ１個ずつ点を
取っり、その点を通り、辺と直交する直線が
多角形の内部で交わるという制約条件のもとで
それらの点と共通交点までの距離が最大なものを
見つけよという完全に応用数学の問題ですね。
数学的定式化を相当詰めないとCでコーディ
ングする段階には全然行かないと思いまつ
大規模連立方程式解いたりするのは、既存ライブラリの
助けも必要でしょうから、学校の宿題で出して良い
ような問題じゃありません。