1を5ビット左シフトしてから、1を引いたものを掛けるんじゃね？
つーかそんな程度の最適化でプログラム全体が意味のある程度に速くなるなら、SIMD最適化した方がいいと思うね。