＞文系の学問をやっていれば、数学ができるのではないか

あまり期待できないです。数学は数学で、理解するには、
それ相応の努力が必要です。

特に、抽象性の高い数学理論などは、きれいに、かつきちんと書いてある本が
少なくて、数学専攻の研究者や学生は、そういった本を
内容が正しいかどうか査読しながら読んでいくのに
相当の時間を使っています。

この「査読」というのが大事で、
数学書の字面だけをなぞって、用語の意味を
「文系なりに」想像しながら読み進んでも、
数学の真価を理解することはできないと思います。

むしろ今勉強されている文系の学問に専念されたほうが良いかと思います。