ApplicationControllerに、

rescue_from Exception :with => :render_404
def render_404
render :file => "#{Rails.root}/public/404.html", :status => 404, :layout => false, :content_type => 'text/html
end

とでも書けば良いと思われ

ただ速度低下が半端ないので、productionで動くように頑張ったほうがいいと思う　作りにもよるけど、100倍くらい違うと思う
3.2以降は、devでも変更があった場合しかファイル読み込みしない＆ルーティング解釈しないようになったらしいから
速度低下は以前ほどでは無くなっているのかな？？

productionになると動かんくなるのが多いのは 993さんも指摘してるけど asset pipeline周りが原因のことが多いと思う