例えばアーカイバとかなら、まずDLLをロードする。
そのDLL内の決まった名前の関数で、対象のファイルが
自分のサポートしている形式かをチェック。
サポートしてなければ次のDLLを読み込んで、
そのDLL内の同じ名前の関数でチェック。
サポートしてるDLLが見付かれば、そいつで圧縮とか展開とか。
DLLの検索方法は決まったフォルダ内のDLLを全検索とか、
特別にそれ用に決めた拡張子を使って判別するとか。
って辺りが単純な方法。