離婚した後なんですが、いいですか？

元旦那の浮気で慰謝料もらって離婚。
金銭的な問題で子供を連れて出れず、自分だけが家を出て、近くにアパートを
借りてます。（子供がいつでもこられるように。子供は中学生です）

離婚して１月ほどで不倫相手と再婚していたことが発覚。
もう同じ家に住んでいるようです。
「お前の母親はお前らを捨てて出て行ったんだ。会うことは許さん。
電話もするな」といわれているようです。

こういう場合、自分はもう身を引くしかないのでしょうか？