行列計算をPythonでやりたいんならNumpy一択だろ
速度を云々するならなおさら