一般的には全体的に判断するものでしょう。
私なら、確実な、あるいは論理的に考えて必要な変数は固定し、どう考えても見込みのない変数は削って、
検討すべき変数を絞り込んでから増減法なり総当たりなりするんじゃないかな、と思いますね。
50個も独立変数のある回帰分析はやったことがないんでわかりませんが。
それと、「最適」と言っても、最終的には決断というか主観による部分もあります(どの基準を使うかによっても異なるわけですし)。
あるいは主成分分析でもして合成変数にするかな。
いずれにしても、0.05だからよい、0.051だからNGという判断はしないでしょう。