ダブルタップ判定の待ち時間が必要だからね。
アプリにもよるけど、シングルタップと長押しまでにしておいた方が快適に操作できる。
どうしても必要ならtouchesEndedで自分の思う待ち時間設定で実装してもいい。