AssemblyResolveイベントで自分で読むなりしないとだめ。
Loadで読めない場所に配置してるような場合は。
っていうかぶっちゃけシリアライズするようなものでLoadFileやLoadFromは使うな。