>>660
a^2+b^2+c^2=1 の球面上での極値問題と考える
a,b,c が対称だから (a,b,c)=(1,1,1)/√3 を軸とする極座標 (r,θ,φ) に変換すれば簡単になると予想
他の2軸を (√(2/3),-1/√6,-1/√6),(0,1/√2,-1/√2) として
a=(1/√3)r(√2cosφcosθ+sinφ)
b=r(-(1/√6)cosφcosθ+(1/√2)cosφsinθ+(1/√3)sinφ)
c=r(-(1/√6)cosφcosθ-(1/√2)cosφsinθ+(1/√3)sinφ)
とすれば
ab(a^2-b^2)+bc(b^2-c^2)+ca(c^2-a^2)=√(3/2)r^4 sinφ(cosφ)^3 (3sinθ-4(sinθ)^3)
sinφ(cosφ)^3 の最大値は 3√3/16 で 3sinθ-4(sinθ)^3 の最大値は 1 だから答は 9√2/32