Mathematicaは数式処理システム。
Matlabは行列計算システム。

前者は主に記号処理に重点を置いていて、
後者は主に数値計算に重点を置いている。

どっちでもできることもたくさんあるけども
うまく使いわけないと目的によっては非常に効率が悪くなる。