Rack::Session::Cookieというものを見つけたのでこのページを参考にしながらこんな感じにやったのですがうまく行きませんでした。

http://d.hatena.ne.jp/shokai/20110324/1300999147

#Rack::Session::Cookie有効
use Rack::Session::Cookie,
:expire_after => 60*60*24*7,
:secret => '適当な文字列'

#代入するとき
session[:user] = 'username'

#読み出すとき
if defined?(session[:user])
user = session[:user]
end

ブラウザ終了がログイン状態が切れるきっかけというわけでもなく時間が立つと切れてます。