現在RTX1200とWin7を有線直結でのIPSecを検証しています。
ファームウェアは最新 10.01.38 （前の報告もコレ）
>>915 氏のアドバイスを元に、keepalive disconect などはオフ。またl2tpに対し、
ip tunnel mtu 1258
ip tunnel tcp mss limit auto

・Win共有でのダウンロードおよび連続ping。
　ダウンロードはレートも安定して8MByte/sec程。その間、連続pingも歯抜けなし。
　(ただしSA更新のログが時々記録されることがある)
ここだけ見ると状況は改善しているのですが・・・

●今回新たに判明した不可解な挙動
・クライアントWin7からアップすると、ファイルサイズに応じてコピーが失敗する。

・0Byte〜40KByte前後 ： 特に問題なく瞬時にアップできる。
・50KByte以上 ： 「コピー中...」ダイアログが表示され、10秒〜の待ちが発生する。
　　　待ち時間の長さはファイルサイズに比例する印象。
・100KByte以上 ： 「コピー中...」から復帰しない。
　　　５分以上固まり、エラーダイアログを出して失敗する。
　　　「ネットワーク エラー \\server\dir にアクセス中に問題が発生しました」

・上記の挙動は ケーブル直結でもインターネット経由でも同様。
　また、相手側のマシンが Win7 でも Linux(samba) でも同様。

なお、FTPによるLinuxへのアップロードは問題なく100MB級のファイルでも可能。
（ただし、エラーが起きてもリカバリが働いている可能性はあるかも？）