LFSのMLを検索したらいっぱい見つかりますた。
http://archive.linuxfromscratch.org/mail-archives/lfs-support/2002/07/0433.html
とりあえず、ldconfig.cに#define _FILE_OFFSET_BITS 64を追加して
ldconfigを作り直したら動作しました。

結局、gcc 3.1のバグ…でいいのかな？

ちなみにこの問題、libcをスタティックリンクした場合のみ発生します。