30過ぎて面倒くさいから女と付き合っていないだけで、ホモとか言われるのはどうしたら良いんだろう？

以前10コ下の子(今は女子大生)と遊びに行ったりしていると言っただけで｢別れろ！ロリオタ！｣とか女子社員に言われたが……
当時は｢xx君(俺のこと)ってモテ無いよね〜｣とかやたらと言われたので、そうじゃないよ的にその娘のこと話したんだけど
エライ怒られたのでどうすれば良かったんだろう？って思うけれど……

この辺の対処策ってどうすればいいと思う？
ホモ呼ばわりしているのと｢別れろ！｣と言ったのは別人だけど、どっちもやたらと話振ってくるのは迷惑だ……