それで十分というならソレでいいんじゃない？
両耳の距離が17cmとして　170/340E3*44100 で22サンプルの遅延分
１サンプル単位にカクカクと変更しても気にならないといえばならない。

とりあえず思うような特性になるかどうか試してみるといいよ