予測に基づくチューニングは無意味だから、
気にしないことを勧める。

VC7以降は「リンク時コード生成」というのがあって、
パフォーマンス向上のためのインライン宣言が無駄になる。
gccにはまだないけど、まあそのうちはいるでしょ。

むしろ、見易さを優先したほうがいい。
たとえば、メンバ変数の単純なgetterをインラインで書いておくと、
.h/.cppを往復する回数が減る。