整数でやるとはやくなるもん?
個人的には、SSEのついてるCPUならfftwで
./configure --enable-float --enable-sse
でつくった短精度FFTが相当速いと思ってるんだけど、
暇があったら比較して。
フラグはFFTW_PATIENTで。