$a['test']['a1'] = 1;
$a['test']['a2'] = 2;

$b['test']['b3'] = 3;
$b['test']['b4'] = 4;

上記のような配列があり、array_merge()的な手法で下記のように結合したいのですがどうすればいいでしょうか？

$ab = array {
　["test"]=>
　　array {
　　　["a1"] => 1
　　　["a2"] => 2
　　　["b3"] => 3
　　　["b4"] => 4
　}
}

ちなみに、array_merge()では["test"]キーで上書きされてしまいます。
よろしくお願いします。