RandomAccessFile f = new RandomAccessFile("hoge.swp", "rw");
for(int i=0; i<2000000000; i++){
　　f.writeInt(0);
}

// n 番目の int を読み出す
int n = 500;
f.seek(n * 4);
int i500 = f.readInt();

// n 番目に int を書き込む
n = 94858;
f.seek(n * 4);
f.writeInt(100);

遅さが気になるなら 1000 要素ぐらいをページングしてまとめて読み書きせれ。
何を言ってるか分からないなら、遅いのを我慢しろ。