>>486
trainデータのK-fold cross validationスコアの最大化で素性選択
↓
得られた素性のみ使って予測

またはBICを最小化する素性選択などいかが？ 単純ですが。