LoadFromでも無理なら、
AssemblyResolveをハンドリングしながらLoadで試す。

ってか最初から、
１．プラグインフォルダからアセンブリ名を抽出。
２．Loadで読み込み。
３．AssemblyResolveが発生するので、自分でLoadFromして返す。
のがいいかも。