やったことないと分からないだろうけど
小さな設定クラスをデシリアライズする場合でも
XMLとBinaryFormatterでは起動時のレスポンスに差があったんよ
SSD環境とか今は知らないけどさ

つか、速度の問題だすと.netだから仕方ないって態度は負け犬根性だわ