解決しました。

やはり普通にadd()とremove()じゃダメみたいです。
add()したJPanelに載っているコンポーネントのサイズが強制的に（0,0）にされてしまいます。

GUIビルダーのレイアウトの影響のようですが、
以下のようにインスペクタから、BorderLayoutなどに設定すればいけました
ひじょーーーーにわかるづらいですねこれ

http://touch.moe.hm/touchup_pict/download/1195232432.jpg