自己レスです。
OnMouseDown，OnMouseMoveをオーバーライドすることで解決しました。