バグではありません。
俺も録音同時再生のソフト作るけどハードウェアによって入出力のサンプリングが
ずれるのとずれないのがあります。CPU負荷が高いとずれが大きくなったりします。
ボード上にクロックジェネレーターを持ってるやつは全くずれません。
あるいはASIO環境ならOKか？