VB厨なんで誤解してるかもしれないけど、unsafe使っても結局できるのは、
「構造体配列のバイナリイメージをbyte[]にコピーすること」であって、
「構造体配列そのものを（マネージドな）byte[]として扱うこと」ではないですよね？
（BinaryReader,BinaryWriter使って読み書きするためには、マネージドなbyte[]として
扱えないと意味がない。）

それならBitConverterで変換するのとあまり変わらない気がするんですが。。