確かに群論とか整数論の基礎が全然わからないと話にならないけど
まずはまともな暗号数学の教科書を読んで分からないところが出てきたら
適時必要分野を勉強しなおす感じでいいんじゃないの？