XFree86のログに
(II) VESA BIOS detected
(II) VESA VBE Version 3.0
(II) VESA VBE Total Mem: 8000 kB
とかいう部分があると思う。ここでいくらメモリを確保
できているかもポイントかも。

1Mだったら1024*768 16bit色には足りないYO

カーネルのバージョンが古い(2.4.16?17?以前)だと
i830"M"のagpgartに対応してなかったと思うので
カーネルを2.4.18(19preでもいいけど)にageると
なにか変わるかもしれない
(Character Deviceのagpgartサポートをチェックしないといけない)