hogeLayout.removeView(hoge);で、
定義はされているがLayout上にないViewを対象にしたら落ちますか？
無視されますか？