よーわからんが、
左端に移った後で右へ移動の処理が呼ばれてるんじゃね?
e.consume()とかしたら伝搬せずに済むかも。