だから、「客が少ないほうが落ち着く」のは当たり前だが、限度があるって話。

金払って店に入ってんのに、他に客がいなかったら、「俺でバカ？」いう不安に
ならないかな？

理解できないのなら視点を変える。
たとえば、お好み焼き屋とかラーメン屋に入ろうとして、店に客が入ってない店に入ろうと思うか？
他に店がないなら、「すいてるからいいや」と自分にいいきかせて入るが、他に選択肢があれば
ちらほら入ってる店にするだろ。

並んでまではいるかどうかは、人の好みなので別問題。