するとプログラマの人件費が減らされて、メーカ謹製のコンパイラ代に変わる訳だが。

共用キャッシュでもいろいろ有るしなあ。プリフェッチ深いのとか。
クラウドコンピューティングとかごった煮環境じゃ最適化厳しいでしょ。
スレッドプログラミングで最大公約数的な所で落ち着くと思うけど。

今時のスパコンってたったの2コアだったりするの？
ALUとか実行ユニット積みまくれば速度は稼げるのかもしれないが。