xauth関連のコード読んで。
ただ独自接続管理ならsshのX forwardingを参考にしたほうがいいかもしれないが。