気づいていないかもしれないけれど、最近のCPUというより、キャッシュの問題で昔より今の方が最適化は激しく効くんだよ。
そもそも、最適化するのは全プログラムの内のほんの僅か、
だからコストがかかるとかいう議論は通常ウソ。
また、デバックや結果の突合せテストのために最適前のコードは残しておくのが普通、
だからメモリの構造やCPUが変わった所で、一行書き換えるだけで移行は通常できる。
そして、移行中にそのマシン用の最適化をするのです。
C#なら20倍位の最適化は可能だから、今でもCOM経由でC++やインラインアセンブラは使っている。
10年未来のマシンを先取りできるとかなり便利なことは確か。

最適化は誤解している人が多いので・・・