全然ok
無理に居残る必要はないですよ
ただ帰る際は必ず幹事さんに伝えてください