バイト列を対象にしたReaderについて教えてください。

テキストファイルを読み込んで解析するプログラムを作っているのですが、
ファイルが巨大であるためBufferedReaderで直接読み込むとアクセスランプが付きっ放しになって
エライ時間がかかってしまいます。
傍目に見ても効率がよさそうではないため、いったんメモリに読み込んでbyte[]にしてから解析をしようと思うのですが、
InputStreamのソースをbyte[]にする方法が分からずに悩んでいます。