√2a = a√2 とみると次のような回答になる

a^2+b√2 = b^2+a√2 だから、
(a-b)(a+b-√2)=0
ここで、a≠bより、a+b=√2

両辺足し合わせて整理すると、
(a+b)^2-2ab+(a+b)√2 = 2√5
ここで、a+b=√2 を用いれば、
ab=2-√5 が得られる。

さて、a^2/b+b^2/a = (a^3+b^3)/(ab) であるが、
a^3+b^3=(a+b){(a+b)^2-3ab}=√2(3√5-4)
よって、(a^3+b^3)/(ab) = √2(3√5-4)/(2-√5) = -√2(2√5+7)
整数部分(負であることに注意)は-17だから
結局、答えは 17-√2(2√5+7)