確率勉強してて思ったんですけど、確率が根拠となる理由ってあるんですか？

Xの箱の中には100個の飴があって1個が毒入り
Yの箱の中には100個の飴があって50個が毒入り

どっちかの箱から雨を選ばないといけないとして
A君はそのことを把握してるのでXの箱を選びました。

何故A君はXの箱を選んだのでしょう？

答え「Yのほうが毒入り飴を選ぶ確率が高いから」


勿論正解なんですけど、何で確率が高いことを根拠にできるんでしょうか？
常識的に考えたら分かるけど数学的に説明できなくないですか？
確率が高いから当たり前だろって言われるけど。