回避するには
1.2バイト文字を含まない場所にFirefoxPortableを展開する
2.起動して終了
これで2バイト文字を含む場所にコピーしても動作可能

NSISが2バイト文字を正常に扱えていないことが原因だな。
フォーラムでテストしてくれてる人がいた。現象は作者にも伝わってる。