>>425 へのダイレクトに近い答えをほじくりだしてみる。

http://developer.nvidia.com/object/gdc_d3dperf.html
の、「The right kind of parallelism」の表が実際のアプリ・ドライバ・GPUの動きを
わかりやすく表してる。

その上の「What kind of parallelism?」のほうのページの図は
プログラマーが頭に描きがちな、実際に起こっているものとは違う動作（つまり嘘）を示してる。

まー各関数の負荷がどうとかはチップと環境によって千差万別なのでなんともいえないが。