細かいニュアンスでいえば、
quitの方はやってることは途中かも知れないがぶった切って中断するぜ、
exitの方はやることが終わったから帰りますよ、みたいな感じ。

余談だが米国産のアプリでは、"exit"メニューの説明が"Quit the application"になってることが多い。