本人がどう思ってようと、他人が見れば違いは単純明快。

・イケメンで金持ち　　　→したがらないんだろうな、と判断。
・ブサまたは甲斐性無し　→できないんだろうな、と判断。

これで充分じゃん。
本人が変に主張してもしょうがないよ。