jarに含まれてるのは、なんていうか、OSのファイルシステムでいう 「ファイル」 じゃないからな。

今まで
new FileInputStream("foo.csv")
とかで読み込んでいたのなら、代わりに
getClass().getResourceAsStream("foo.csv")
とすれば読める