そんなことしなくても後から起動されたほうは勝手に終了する。
先に起動してた方のMy.Application.StartupNextInstance イベントのパラメータに
後から起動したコマンドラインが渡されるので後はお好きなように。
つーかMSDN嫁。