とりあえず、h'(x)=(k-x)*f(x)-∫[y=0〜x]f(y)dy より、

0≦y≦aのとき、h'(x)=kx-(3/2)x^2
a＜y≦bのとき、h'(x)=ak-2ax
b＜yのとき、h'(x)=(3/2)x^2-(2a+2b+k)x+k(a+b)

になりますかね。