ブラウザを閉じてもバックグラウンドで動作し続けるタイプの拡張入れたんじゃないか？
…そういやGoogle Chromeと違って設定画面に 「バックグラウンドアプリの処理を?」のチェックボックスも見当たらないな

まぁとりあえずは「Google Chrome スタートアップ」でぐぐって出てきた対処法を、
Google Chrome→vivaldiと読み変えて参考にすれば良いかと