それはC++と変わらんよ
エンディアン依存でいいならunsafe使えばポインタのキャストで一発だし
エンディアン依存ダメならC++でも面倒
むしろBinaryReaderとかある分C#の方が楽なんじゃないか