SQL Server Compactで問題ないと思う。
配布方法はこちらが参考になる
http://msdn.microsoft.com/ja-jp/library/aa983326.aspx

SQLite（System.Data.SQLite）を使いたいなら、そちらでも可