最適化において押さえねばならないのは
 (1) 関数呼び出しに副作用が無いことをコンパイラに納得させる書き方
 (2) ポインタを使用した場合、ポインタのaliasが関数内に存在しないことをコンパイラに納得させる書き方
は少なくとも必須、

(1)は>>540の通り、1つのファイルに全て詰め込むことで達成される
(2)はしばしばベンダー独自の言語拡張に頼らねば実現できぬ(__restrictとか__declspec(noalias)とかetc.)

なお(念のため、)(1)、(2)とものマルチスレッドは関係なく、普通にシングルスレッド状況で問題になる