とりあえず、この辺りの日本語で読める入門本から勉強し始めるといい
http://www.amazon.co.jp/dp/4627806302/
http://www.amazon.co.jp/dp/4627038119/
そのあとで、論文や雑誌などを当たるといいただろう

また、Mathematica の前に、
オープンソースの数式処理システムがいくつかあるから、
まずはそれらのソースを見た方がいいと思う。