while(true)
{
//実行するコード
Console.WriteLine("続ける場合はyを〜");
if(!(Console.ReadLine()=="y"))
break;
}

こうだった