あ、出遅れた。ちなみに SBCL では fixnum 超えると integer でもメモリ使用量増えました。
optimize space とかも試してみたけど、ダメだった。