VoIPアダプタの速度低下について。

2月にBフレが開通するんですけど、ついでにIP電話を申し込みました。
現在持っているルーターがVoIP対応なので、VoIPアダプタをレンタルしてIP電話を使う予定です。
そこで質問なのですけど、VoIPアダプタをルーターに接続した場合、速度の低下が起こるのか心配しています。
速度の低下が起こるのなら、どれくらいの速度が低下するのかを知りたいです。
やっぱりIP電話を使用中が一番速度低下が激しいですか?
教えて下さい。