Railsのパッケージは一式同時にリリースされるので、
バージョンがずれることは心配しなくていい。

また、依存関係は実際にrequireしようとした時点で問題になるので、
メール扱わないならconfig/environment.rbで
config.frameworks -= [ :action_mailer ]
としておけばよいだろう。