これだけでうまくいくけど？？
再生中でも、ちゃんとボタン押せば止まるし、
フォームをクリックすれば閉じる。

procedure TForm1.Button1Click(Sender: TObject);
begin
with mediaplayer1 do
begin
filename := 'c:\windows\media\the microsoft sound.wav';
open;
notify:=true;
wait := False;
play;
end;
end;

procedure TForm1.Button2Click(Sender: TObject);
begin
mediaplayer1.stop;
end;

procedure TForm1.FormClick(Sender: TObject);
begin
close;
end;