今どきのCPUのコンテキストって数キロバイトに達するものもあるんだぜ？
カーネルモードへの切り替え、キャッシュフラッシュ、コンテキストの保存、ロード、ユーザモードへの切り替え
これくらいの処理が走るんだ、マイクロ秒レベルの時間がかかることは別に不思議ではない。
コンテキストスイッチの差異は、数千から1万CPUサイクルを消費するってのが一般的な目安。