Fragmentはインスタンスが保持されていたとしても、
画面に付けたり外したりする時点でライフサイクルの一連のアレ
(onAttach()とかonCreate()とか）
が走ってしまうんじゃなかったっけ？
それで時間かかるならどうにもならんのでは。

ViewPager使ったこと無いから仕様が分からんけど。