「統計と確率の基礎」が結構良いんじゃないかと思う

数学科でやるような確率論を真面目にやるなら、
まず微分積分やって線型代数やって位相を勉強して
（二百頁とかの薄い奴で良いけどそれなりに一応勉強しとかないと、
以下のような位相を入れて考えると、とか言われたときに意味不明なことになる）
……みたいな話になるけどそれで良いのかねえ
まあ趣味としてやる分には楽しいし、経済ならそれでも良いんだろうけど

∫[-∞から∞まで] e^(-x^2) dxはいくつか分かる？
分からないならまずは微積からやんなきゃダメだと思う
小針先生の本にも多分載ってるとは思うけどね