Sは円周上の点を集めた集合で、
集合A,Bの直積A×Bは、Aの要素aとBの要素bのペア(a,b)を集めた集合。
A→Bは二つの集合間の写像、Aの要素に対してBの要素を
一つ対応させるものを指してる。関数と同義と思っちゃってもいい。

S×S×S→Rは円周S上の三点から実数への関数で、
この場合は、その三点からなる三角形の面積を出す関数にしてる。

その回答では、面積が最大になる三角形が存在することに言及しなきゃだめ、
といってるんだろうけど…
僕は高校の段階ではそんなのは自明でいいと思うけどね。