1. CPU、MEM、HDDのスペック
が足を引っ張ている可能性はあるけど、
VMware Server だとローカルホストのゲストへの操作でも、リモートホストからの操作と同じように
TCP/IPを経由して操作することになるから、
2. ネットワークのスペック、設定
3. Firewall（ホストがLinuxなら例えばiptables）の設定
とかも足を引っ張っている可能性がある。

とりあえず VMware Server ではなくて、vmplayerを使ってみてはどうかな？
TCP/IPを経由せずにゲストOSを操作できるので、もしかしたらマウス（カーソルかな？）の動きが
やたら重い問題が解決されるかもしれない。
普通は、 VMware Server で読み込んでいるvmxファイルを、
vmplayerで同じように読み込むだけで簡単に使えるよ。

それでもまだマウスカーソルの動作が重いなら、
4. ホストがLinuxならXの設定
5. VGAのスペック
6. 光学マウスならマウスパッドのスペック
7. マウス自体
の順に見直してみるといいかと思う。

参考までに、私の場合は
CPU: Athlon X2 4800+
MEM: 1GB
VGA: GeForce 7600 GT
仮想化したHDDイメージ: 10GB (logistec)
ゲストOS: windows xp pro、linux (ubuntu)
ホストOS: linux (debian)
の構成で、 VMware Server だと少しマウスカーソルの動作が重たく感じたけど、
vmplayerだとサクサク動きました。てか仮想化してんの？と思うぐらい軽いのでvmplayer、ぜひお薦め。