そりゃそうだ。
誤った引数を与えられるようになるから、そんな変換は認められない。
reinterpret_cast使え。