有線のみ複数接続でも切れますか？
無線ルータの場合モデムの近くに設置すると無線使用時の切断が
起こるのは24M超サービスで良く報告されています。

対策はLANケーブルを長いものにして設置場所を離す、無線ルータ
を金属製のラックに置かない、電化製品や金属製のラック、事務机
から離す等で改善する事が有りますので試してください。