>>492
手順としてはこんな感じです。
https://www.quora.com/How-do-I-use-cross-validation-for-feature-selection-in-a-linear-regression
cross validationでベストなfeature subsetを求めてファイルに保存します。
別プログラムでtestデータを読み込むときに、そのファイルに含まれないfeatureは無視してベクトル化、予測してtestスコアを計算します。

高次元でpredictive powerに偏りのないケースでは上手くいかない気がします。どのようなアプリケーションですか？