DLLを参照するEXEを一緒に配布した場合、フォルダが違うとエラーが出るからです。

そういう必要は、あるんじゃないですか?