＞4バイトの整数型にキャストしてビット演算とかした方が良いと思う。
頭が腐っているのか？
・整数型に直接castすることはできない。
・4バイトアクセスが安全にできる保証はない。
・エンディアン依存になる。
なので、どう考えても1バイトずつ比較するべきだろう。