>オプションはinstall-g3を選んでます。

そのオプションより、ibookなら普通にinstallか、あるならばinstall-ibookじゃないのかなぁ。
このあたりあまり詳しくないので、パス。

install video=radeon:1024x768-16@70
と指定してみるとか、
install video=radeon:cmode:8
と色数を落としてみるとか、
install video=radeon:vram:32768
とVRAM容量を明確に指定してみるとかで、どうでしょう。