速度求めるならSSE2命令使ってコーディングしてるatlas + fortranが速い。
SSE2命令有効にしてコンパイルしてもこれほど速くならないと思う。
C/C++からコールするにしても行/列アクセス順序入れ替えるのは面倒だし、
オーバーヘッドは必ず発生するしね。