たとえばプラグインフォルダ指定されたときに、ファイルをなめて
ファイル名(アセンブリ名と同じというルールで)を一覧で取得して、
LoadFromでいったん全部読み込んでから処理とかじゃだめ?

あるいはPrivateBinPathにプラグインフォルダを追加して、
同じようにファイル名取得してLoadで読んでから。
まあこれはサブディレクトリの場合しかできないけど。