最初に必要なことはrarアーカイブファイルのフォーマットを調べることだと思う。
どのように暗号化されているのか、どうやって復号しているのか、を理解する必要があるだろう。

この先は、やったことないので、まさに憶測でしかないんだけど、
rarを解凍するためのdllがあるようなので、それにアーカイブファイルとパスワードを渡して
解凍できるかどうかを試すというのがお手軽な方法じゃないだろうか。
ただこれだとパスワードの候補は適当に選ぶしかないので、効率は悪い。

rarもパスワードがそのままファイルに入っているはずはなく、一方向ハッシュ化されて
記録されていると想像される。そのハッシュ化の方法が分かるのなら、パスワード候補を
ハッシュ化して直接比較(dllに頼らない)することができるかもしれない。
ハッシュ化は重い演算なので、これを大量に計算するのに時間がかかる。
この計算を高速化するのにCUDAを使う方法がしばしば紹介されている。
また、そのハッシュ化方法に弱点があって「パスワードの一部分が一致していることが分かる」
というようなものなら、それをパスワード候補の選択に応用してやってみると効率がよくなるかもしれない。
ただ、そのような弱点を発見した場合は、それを発表すると有名ハッカーになれる。
参考書としては
「新版暗号技術入門 秘密の国のアリス」結城 浩 (著)
とか。