HogeMatrix<Number> じゃねぇの? ゲネリックスは警告なしでコンパイルできてくれるか
予想が難しいけど。

つか double だけでええやん。数値演算処理でわざわざプリミティブ型のラッパー
ガンガン作るような汎用クラスは遅い。プリミティブ型に関しては C++ のテンプレート
みたいにその型を #define で置き換えたような専用クラスができるわけではないし。