分かりずらい質問ですいません。
OpenSSLのソースを見ていてそのあたりがわからなかったんで質問してみた訳なんですが、
1024bit鍵長では素数p,gの有効bitがそれぞれ最大512bitで作成されているようですね。
p,gはもともと乱数なんで、 たとえば平文1024bitが全て1であったら、（つまり全て0xff）だったら
かなりの確率で失敗すると思えました。（法nよりたぶん大きいので）
それでその後どうするべきかとの疑問でしたが、
調べてみたら、単に（平文＋パディング）サイズを見て法nを超えたら入力エラーなんですね。
このあたりはなんとか自力で分かりそうです。　ありがとうございました。

＞後は誰か詳しい人負かしました。
なんの勝負？