ハンドラ内で、ActiveControl = nil の場合分けが必要ですね。
あと、ハンドラ解除はOnDestroyの方がいいかも。