そりゃ作品をより深く楽しむのなら全部網羅した方がいいだろうけど
正直そこまですんのはしんどいでしょ？
アニメ1期2期だけでも十分楽しめるよ
んで作品自体を気に入ったのなら網羅してけばいい