>>639,>>640
三角形OAPは直角三角形なので
AP^2=OP^2-OA^2 より
AP^2=a^2+b^2-(s^2+t^2)
s^2+t^2=1 ⇔ s^2=1-t^2 これを代入して
AP^2=a^2+b^2-1

BPも同様に
BP^2=(a-2)^2+(b-4)^2-{(p-2)^2+(q-4)^2}...

ここまでは理解できました。
a,bについて整理しようにも文字が４つになってしまってここから進めません…。