解決しました。過去ログのこの辺が参考になりました。
http://bbs.gamdev.org/test/read.cgi/gamedev/1054109966/897-908

一応やり方としては、
1.0f / 横幅 / 2 を、テクスチャUV座標のUにプラスする。
1.0f / 高さ / 2 を、テクスチャUV座標のVにプラスする。

幅や高さは画像の実サイズではなく、2の累乗に矯正されたテクスチャのサイズです。
最近のグラボは2の累乗でなくても扱えるのもあるみたいですが、
こういう現象が発生するようなのはたいてい古いやつでしょうから。

まあみなさんも保険と思って、テクスチャで2DやるときはUV座標を0.5ピクセル分
ずらしてやるのがよいかと。