Ｄｅｌｐｈｉなら確かに実行ファイル一つで配布出来る。

他言語版については表示等がAnsiChar 日本でいえばシフトJISなんで多言語混在するには
Unicode対応にするコンポーネントを導入する必要がある。　
これは、少し前なら無料だったけど最近有料になったようだ。　
自分の場合、他言語ではアルファベットさえ表示出来れば十分なので問題はない。

Delphiはドキュメントが貧弱なんでVCLソースが無いと厳しい。
逆に、ソースがあれば全部の挙動を自分で把握出来る。　
また、これが非常に勉強になった。他の言語でも応用が利くようになった。

無料版はD6パーソナルだとコンポーネントが入れられる。でもVCLソースが付いてない。
TurboDelphiならVCLソースが付いてる。でも外部コンポーネントが規約上入れられない。
外部コンポーネントが入れられないのでお気楽ポトペタの部分が半減すると思う（使ってないから想像）

ネットワーク周りはWinsockで直書するつもりなら問題ないけど、楽したいならIndyというコンポーネントがあるのだけど
TurboDelphiだとこれをポトペタで利用出来ない（コードからは利用出来るそうだ）
有料版ならIndyはインストールされる。

感じとしては、
C#はヘルプ検索型で作ってゆく感じ。　
Delphiの方が自分が作ってる感じが強い。
自分は慣れのせいもあるし大量の自作コンポーネントがあるんでDelphiの方が好きだし圧倒的に生産性は高い。
でも、万人向けではないとも思う。　自分でアルゴリズムを考えたりするのが苦手ならC# 　得意ならDelphiって所かな。