>>690
この問題は、(3)の放物線上であるという条件から
8ab = (a+b)^2 -4(a+b)-16 ・・・・・・①
さらに、
a,bは実数・・・・・・②
a<b・・・・・・③
という3つの条件があるときの、
S = 1/12*(b-a)^3 ・・・・・・④
の最小値を求める問題になります。

①がa=(bの関数）、もしくはb=(aの関数)に変形できる場合は代入していけばいいのですが、
そうはできないので、 >>390 さんがおっしゃってるように
a+b=p、ab=q
とおいて、①～③の条件式を同値変形します。ここで、2次方程式の解と係数の関係を用います。
①より、8q = p^2 -4p -16・・・・・・⑤
②、③より、t^2 - pt +q = 0 の方程式が異なる2つ実数解をもつことと同値で、p^2 -4q > 0 ・・・・・・⑥
ここで、Sの右辺にある （b-a） は③より常に正なので、Sと (b-a)^2 の増減変化は一致します。
したがって、(b-a)^2の最小値を⑤、⑥の条件下求め、代入することで求める最小値が求まります。

実際には、⑤のとき必ず⑥をみたしますので、
(b-a)^2 = p^2 -4q
に⑤を代入してpのみの関数にしたうえで、
任意の実数pの範囲で変化させたときの最小値を求めればよいことになります。