自分が中年世代なので古い話になって悪いが、
「多変数解析論」の分野で世界的な業績をあげた岡潔先生も
旧制中学時代「幾何」で赤点をとったことがあるらしいことを何かの本で読んだ。
一口に数学といっても中味は広くて幾何と解析では適性が違うのではないかと思う。
おそらく数学オリンピックは古典数学の領域からの出題なので、
現代数学に適性の無い人間は大学入学後、オチこぼれてしまうのではないか。
自分は工学部の出身なので詳しいことはいえないが。