byte[]をlong[]にキャストって出来ませんよね？

Javaで高速なコードを書こうとした場合、プリミティブ型を統一するしかないですか？
forで回して変換するのが嫌なんです。
CとかC++ならキャスト一発で一切コスト無く出来る事なので。