>>659
呼び出し規約っていうのは関数を呼び出すときに引数をどう受け渡すかとかの決め事で
アセンブラレベルの話。引数を一番後ろからスタックに積むとか前から積むとか
引数はレジスタに設定するとかスタックを戻すのは呼び出し側か呼び出し先かとか色々ある

例えば>>655が呼び出し側でスタックを戻す呼び出し規約で関数を呼んで
ライブラリ側では呼び出し先がスタックを戻す規約を使ってた場合
スタックのズレが発生して内部データぐちゃぐちゃ→変なアドレスにreturnとかやばいことになる

俺はWindowsしかわからないから他のOSの事は知らないから
GL/osmesa.hとライブラリの組み合わせがおかしいんじゃないとしか言えない