それなら GL_COLOR_MATERIAL を有効にして glColorPointer で設定すればいいんじゃないかな