Gemfileのバージョンの部分削ってから、bundle installした方がいい。
その記事と、もしかしたら挙動が違うかも知れんが。

あと今後の事を考えると、rubyはデフォルトのじゃなくて rvmで入れた方が良いかも。