>>604>>605
②が成り立たないというのは結果からわかるのですが、どうして成り立たないかわからないんです。

ウィキペディアのページありがとうございます。見てきたのですが、当たり前のように書いてありました。
虚数に関しては(a+b)^2=a^2+2ab+b^2というのが成り立たない------③ということでしょうか。
教科書にはやっぱり書いてないんですよね。これは大学の過去問なのですが、「虚数の最小」ってので迷いました。
学校では虚数に大小はないって習ったし、教科書にもそう書いてあります。
旧課程では虚数の大小もならったとかそういうことが関係してるのかなとおもうのですが、どうでしょうか。
ちなみに複素平面はやってません。

習っていなくても出るのであれば覚えるしかありません。
複素数の基礎として覚えておくのは
「虚数に関しては(a+b)^2=a^2+2ab+b^2というのが成り立たない。」ということと
「|z|={z×(zの共複素数)}^1/2=(a^2+b^2)^1/2」ということだけでいいでしょうか。
よろしくおねがいします。