> shiftよりもctrlの方が特殊性が高いと感じる
WindowsのテキストボックスはShift+クリックで連続範囲の選択だろ？
メタキー不要の単純ドラッグ操作だって2次元とは言え連続範囲の選択だし、
飛び飛びに要素を選択する状態のほうが特殊って事で問題無いと思うんだが。

連続範囲の選択のほうがマイナーで複数選択可能なUIなら、
単純にクリックで選択状態が反転する操作にしとけば良くね？