MouseDown後のMouseUpのみ処理するようにすれば済むけど、
泥臭いし後から意図をくみ取りにくいな。