わかり易い例にしてやろうか？

$value = 1;

$ref1 =& $value;
$ref1 = 2; ← これで$valueが変わるのは普通

$ref2 = $value;
$ref2 = 3; ← これで$valueが変わるのはおかしい

そうだろ？

だけどこれを配列の1要素にした途端、
最後の行で変わってしまうんだよ。