ゲーム作ったことない素人考えだけど、
当たり判定クラスを二つにわける必要性はないでしょ。
全部一つのHitTesterクラスでやった方がわかりやすくないか？

N個のオブジェクト相互の当たり判定って、N個対M個のオブジェクトの当たり判定の
特殊ケースとして実装可能に思うけど。