普通に

R8G8B8A8
にすれば32ビット演算で処理出来るじゃん