用事があれば断るしかないでしょ。
旦那さんに断ってもらえば?