フーリエ変換には、数学的な利便性以上のものは無いよ。

以下は個人的な考えだけど、JPEGが巧いのは、
色相をまびいて輝度を重視する事と、フーリエ変換による符号化を組み合わせたこと。
後者は純粋にデータ圧縮のための方便だから、
輝度重視で、移動平均からの差を取るのが感覚系に合うのではなかろうか。
移動平均を、バイキュービック補間とかでやるのもいいかも。