Windows Vista 32bit
Python 2.5
そのソースのままで動いた

64bit 環境では知らん

関係ないかもしれないけど
from PyQt4.QtGui import *
をやめて下のように書いたらどうなりますか？

import sys
import PyQt4.QtGui as QtGui

app = QtGui.QApplication(sys.argv)
button = QtGui.QPushButton('Hello, work', None)
button.show()
app.exec_()