あ、各頂点のyは同じアドレスではないことが保障されるっぽいから、
スワップは、マイナスとかXOR使った例のやつを使えるかも。

XOR交換アルゴリズム
http://ja.wikipedia.org/wiki/XOR%E4%BA%A4%E6%8F%9B%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0
を参照ください。