PreviewLostKeyBoardFocusとかでチェックしてキャンセルした方が余計なイベントが走らなくて素直に動いてくれると思うよ。