boost::numeric::ublasは遅くないぞ
パフォーマンス表も書いてある

http://boost.cppll.jp/HEAD/libs/numeric/ublas/doc/overview.htm