>>402
読み込みにではなく、表示に時間がかかっている。
どうしても1000*1000の行列を眺めたいのでなければ

  ReadList["matrix.txt",Number,RecordLists->True];
  Eigenvalues[%]

とするといいだろう。