|f(x-t)sint dt　（∫f(x-t)sint dt）はxの関数だから　定数Aとはおけない。
x-t=uとでもおいて
∫f(x-t)sint dt
=∫f(u)sin(x-u) (-du)
=-∫f(u)(sinx cosu - cosx sinu) du
=-sinx∫f(u)cosu du + cosx∫f(u)sinu du　と変形してから
a=∫f(u)cosu du , b=∫f(u)sinu du　と定数で置き換えればいい。