ケーブルTV（J-COMを予定）からネット接続をしようと思うのですが
一階にケーブルモデムを設置してそこからノートで接続
二階にメインマシンを設置して接続しようと思うのですが、
(2階へはLANケーブルを既に通してあります）
ケーブルモデムからは端子は一つしかつなげません
二台のマシンのネット同時接続が無理なのまでは承知しているのですが、
その際にケーブルモデム本体と各PCとの間に何か機器を入れて
いちいち繋ぎ替える必要がないようにできないのでしょうか？
ルーターと言う物があると聞いたのですが、
J-COMでは使用を禁止されているらしく、使えないみたいです。
ルーターの他にこういった機能のある機器は無いのでしょうか

どうかご教授お願いいたします。