別に贅沢な環境には見えないが

で、基本的にゲストの動作はホストと比べてある程度もさつくのは仕方がないから諦めれ。
設定で見直す点があるとすれば、Intel-VTまたはAMD-Vが有効になってるかどうか。