GMPは分数計算出来るから、GMP使って連立方程式解くライブラリ使えばよい。
調べてきた。GSLで出来る気はするがやったことはない。

http://na-inet.jp/na/gsl.html
http://d.hatena.ne.jp/pashango_p/20090714/1247590272
http://ja.wikipedia.org/wiki/GNU_Scientific_Library
http://www.cc.kyushu-u.ac.jp/scp/system/library/LAPACK/LAPACK.html
http://www.oishi.info.waseda.ac.jp/~oishi/FAQ/numtool.html