GCじゃないかと思ってるんだけど・・・＜時々時間かかる
色々細工すればするほど泥沼だった。

これは推測なんだけどArrayListとかのコレクションがあるとGCのときに
Collectionオブジェクトの破棄→各要素（の実体）の参照カウンタが減る→各要素の破棄ってなことになってるんじゃないかと・・・