>>640
とりあえず

＞0≦y≦aのとき、h'(x)=kx-(3/2)x^2
＞a＜y≦bのとき、h'(x)=ak-2ax
＞b＜yのとき、h'(x)=(3/2)x^2-(2a+2b+k)x+k(a+b)

この書き方はおかしい。
h(x)はyに依存していない。
というかyは積分を表現するために便宜的に登場しているだけだから変数ですらない。