いや、世界が再構成された時点でok。
観測者という意味で言えば本来、実世界にいる私も君も観測者。
本来世界線変動は、世界線が変わるような何かのキッカケがある。
湾岸戦争、2000年問題、タイムマシン開発などがそうだけど、
岡部一人が消えた程度では世界に大きな影響はなく世界線は変動しない。

岡部は世界線変動を観測できる唯一の観測者。変動した事は他人はわからない。
なので、消えた他世界線の記憶に振り回されるのも岡部だけ。
不安定な状態になるのも岡部だけ＝岡部だけが無かった事になった世界を彷徨う。
イメージ的には虚数空間を彷徨うようなもん？と思ってるが制作じゃないとわかんね。

助手はタイムリープにより岡部が消えたのを観測した。
本来岡部が消えた以後は岡部が存在しなかった事になっていたが、
助手はフォークがきっかけで思い出す＞タイムリープの流れで思い出したから。
岡部が過去に存在したことを「観測」したので引き戻す事も可能になったって事なんじゃね。

まあこれでもかなり無理やりな解釈なんだけど。