そっか・・・。

TCPを張った直後に鍵を堂々と渡すのではなく、
ノード情報に含めて相手のノードに遠まわりに鍵を教えるなら、
公開鍵暗号でなくても、共通鍵暗号でも十分なんだ。

ごめん。漏れが馬鹿だった。