>>725
やや抽象的な書き方になるけど、一般的に

$a = 大きな文字列or配列;
$b = & $a; // $a、$b、共に「自分のエイリアスが1つ以上存在する」というフラグみたいなのが立つ。

$x = $a; // エイリアスさえなければ働くはずの参照カウントが働かなくなり、コピーし始める。
$x = $b; // この場合も同様にコピーし始める。

って感じで、別の変数（$x）への代入が遅くなる。
count($a);という呼び出し前には「$countの引数 = $a;」という内部動作が加わるから遅くなるんじゃないかな。

余談だけど、この応用で、
function hogehoge(& $b) {
という関数があると、この関数内での$hensuu = $b;は全て、&なしの場合より遅くなる。