maxima,mathematicaは代数・記号処理ですから、gnur R言語の方がいいでしょうね。
もう少し「数学ソフト」と言うのはどういうのがあるかを調べた方がいいですよ。