Gems って、 gem でインストールしたものをどこでどうやって管理するんでしょうか？

FreeBSD ports で devel/ruby-gems をインストールしたのですが、
gem でインストールしたものが pkg_delete や portupgrade などでどうなるのか、
これらのコマンドとの相性みたいなものがどうなのかが心配で、
なかなか Rails をインストールする勇気が出ません。