$ Xnest -query hogehoge :1 &

という感じで別のPCに接続すると、キーマップが英語になってしまいます。
どこで設定すればよいのでしょうか？

どちらのPCも/etc/X11/xorg.confで日本語キーボードが指定されています。