1152x870や832x624はMac規格つーかAT互換機にはないのよ。
AT互換機で使うことを主眼においてビデオチップは作られていて、
それをMacに流用しているだけなので、写るだけでよしと思え。
Radeon7000や8500とかなら、1152x864で100MHzとかモニタによっては選べるよん。
1152x864はAT機にある解像度だから。