パソコンが２台あったので無線ルーターを使っていたのですが、1台が壊れたのでルーターを外そうと思ってます。

現在の状況は↓の通りで、問題なくつながります。モデムは両方とも横置きです。
モジュラージャック−ADSLモデム−BBフォンモデム−無線ルーター−パソコン

無線ルーターを外して↓のようにするとつながらなくなってしまいます。
モジュラージャック−ADSLモデム−BBフォンモデム−パソコン

ルーターのWAN端子に入っているLANケーブルをパソコンにいれれば良いだけかと思ってたんですが、間違ってますか？
何か設定しないといけない？昔はルーターなしで使ってたんだけど。