32bitの演算は技術的には通常のまま
ただし、64bitと32bitの変換が入るので、オーバーヘッドは微々たる物だが、あるといえばある。
基本的に32bitの処理は32bitOSにやらせるのが一番。

ま、カーネルチューニングもされてるので、多少高速化されてるんだけどね。
ただ、ドライバのチューニングは逆に遅れてるので、結局総合的に見て、同じか判らない程度劣ってるんじゃないかな。