ここで質問すべき内容かわからないけど、Ubuntuでやっているので教えてください。

PCにNICを2枚さして、2つのネットワークに接続しています。
PCにはUbuntu serverが入っています。
PC┬ネットワークA
　　└ネットワークB

ネットワークAからPCにログインする人は、ネットワークAとBにアクセスできて問題ない人なんですが、
Bからログインする人にAに入られては困ります。

AをなくしてみんなBから入るというのはなしで、この問題を解決する方法はあるのでしょうか？