職場で悪口を言う人間が悪口を言うと思われないケースはどうなるの？

悪口の内容は
早く離婚すればいいのに。
誰々の旦那はいつか浮気して、あいつは捨てられる（笑）
あの人って流産、死産したのによく外歩けるよねー

とか色々。
私には悪口に思えるけど、職場は悪口とはとらない。
悪口を言われる側が悪いって職場は言うのだけれど。
イジメのターゲットになると地獄の底まで落とされて、悪者にされる感じ。
で、周りの結束は固くなるというか･･･