まず

・hoge.txtにはどういう文字がどういう文字コードで格納されてるの？
・文字化けするというパターンでバイナリレベルで文字コードはどうなってるかみてみた？

たぶんこれだけ確認すればおおよその絞込みはできそうなんだが