自己解決しました。

編集用のパネルMouseDownしたときに this.ActiveControl = null にしてエディット系のフォーカスを外し、
フォームの KeyPreview を true にして、フォームのKeyDown イベントで、
アクティブコントロールが null かつ Del キーがおされたときに
オブジェクトを削除するようにしました。