「自慢じゃないけど」というのは一般的に
暗に（軽く）自慢する場合に用いられる慣用句だ

エリート校に通うくらいの人間なら
常識的に身につけている言い回しだと思う