リトルエンディアンでもそれぞれ1バイト長で確保しているならRGBalphaの並びではないんですか？
とにかくデータがalpha,R,G,Bの並びなのかどっちなのかはっきりさせる必要がありそうです。