ブロバイダの利用者数 対 回線事業者の利用者数 速度に影響するのはドッチ?

個人的な考えでは、回線事業者(うちの場合イーアクセス)の混み具合が、速度に影響を与えると思ってるですが・・・現時間帯での利用状況的な。
その時間帯で同じプロバイダの利用者が多くても、イーアクセス回線が空いてれば負荷が掛からないのかな?という認識でおK?

ココからは余談です。
今度、hi-ho→So-netに切り替わる予定の者です。
回線事業者はイーアクセスで同じ。ADSL専用。
利用者が少ないブロバイダ → 利用者が多いブロバイダ に変わります。
プランを8M→50Mにします。まあNTTから2100Mなので速度はそれ程上がらないようですが。