別の回線が光ではなくADSLの場合、使えなくなると困るから
今すぐ契約した場所に行って解約処理をした方が安心かもしれん。
光とかADSLではないなら契約書控え(当然あるよね？)に
記載されてる電話番号に片っ端から電話かけて今日契約したが解約したいって言えばいいと思う。

店頭でやってる勧誘系って直接ヤフーがやってるわけではないから
代理店になるんだと思うけど何か名前書いてなかった？
それでぐぐったりすれば何か連絡先がでてくると思う。