n(n-1)/2 = mn + m(m+1)/2
これをペル方程式の形にしようと試行錯誤しました。
(m-n)^2/(m+n)-2*m^2/(m+n)=1 とか
(m+n)/(m-n)^2+2*m^2/(m-n)^2=1 にはなりましたが
なかなか x^2+AY^2=1 の形にできませんでした。

ようやく(m+n)^2+(m+n)=2n^2 の形から
うまくできましたが

X^2+AY^2=1にする
何かコツみたいなものはあるのでしょうか?

今の場合は、必ずペル方程式の形にできるので
あきらめずに式変形を続けて目的を達せましたが
分かっていない場合だと途中であきらめてしまいそうです。

ペル方程式の形にできる場合の判定法みたいなものはありますか?