試してみたら、確かにディレイがあるな。
EventDispatchスレッドからのDispatchが遅いのか、演奏開始が
遅いのかは、分からないなあ…誤差なしでイベントハンドラを起動
できるのかどうかが、Javaだと微妙だよね?

public static void main(String[] args) throws Exception{
 JFrame f = new JFrame("Test");
 f.setDefaultCloseOperation(f.EXIT_ON_CLOSE);
 JButton b = new JButton("PLAY");
 f.getContentPane().add(b);
 f.pack();
 f.setSize(100,100);
 final Clip clip = (Clip)AudioSystem.getLine(new Line.Info(Clip.class));
 AudioInputStream in = AudioSystem.getAudioInputStream(new File("なにかWAVファイル"));
 clip.open(in);
 b.addMouseListener(new MouseAdapter(){
  public void mousePressed(MouseEvent e){
   clip.start();
   clip.setMicrosecondPosition(0);
  }
 });
 f.show();
}

ボタンをマウスクリックしてみそ。