解決しました。L2TP-over-IPSecを使おうとしてたのですが、
ダイアルアップ - LAN 間 VPN 、動的ピア　という方でやり直して
みたらちゃんと接続できるようになりました。