自分は専門家ではないので、何か書けば恥をかくだけだが・・・

プログラムの表側に見えている処理をさらに高速化するだけでなく、
見えていない処理のうちネックになっているものを改善するのも手かと。

あるプログラムのCPUクロック消費のうち、
目的の計算自体は16%しかなかったりすると、
たとえSIMDで計算自体を4倍の速度で行っても、
16%だったものが4%に減るだけで、
全体としては1.14倍の速度向上にしかならない。