C#でchar型って文字型だから、単純に値を取り出して
intみたいな数字型に変換するのは無理…というかしちゃダメじゃないの？

Encoder使って、byteに変換すれば可能だけど