すみません、皆さんのご指摘の通り問題すら間違えていました。
(f*g)(x)=∫[0,x]f(t)g(x-t)dt
でした。
交換法則はx-t=uとおいて変数変換で証明できましたが
結合法則がどうもうまくいきません、どうか教えてください。