差別用語とされているもののほとんどは、誰も使うなとは強制していないし、
使ってはならない理由とされていることも、都市伝説の場合が多いです。
それは私も同意します。

ただし、「人権」と無関係であるとは思いません。
自主規制する側が、理由として「人権」を持ち出す事例がいくつもあるからです。
役所で言えば人権推進課の管轄となります。
何でそんなことになるのか、という点に関しては正直私もよく分かりません。