そんな方法じゃ無理
やりたいならOpenExeConfigurationを使う

アプリケーション構成ファイルにユーザーデータを保存すること自体
あまり薦められる方法じゃないのでこれ以上は教えない