フレッツ接続網というより　フレッツ接続網との接続の部分が混んでいる。
DSLAMの一ユニットの能力が足りない、と考えるべきじゃないだろうか。

ヤフーのユニットは20人分つなげるらしいのだが、この接続線の能力が
君や漏れの場合、さらに条件の良いユーザーのために使われて、
下流の我々には、満足な割り当てがない。
だから、条件の良いユーザーが使ってない時などは、早いが、そうでない時は遅い。
ゆえに、解決策は自分より条件が悪いユーザーのみがいるユニットへの収容。
dionが応じてくれるか　回線業者が応じてくれるか　という問題。
乗り換えれば、君の場合漏れの推理通りだと、フレッツの解約を視野に入れる必要があり。