IplImageのヘッダoriginが上下を持っていませんか?
画像の各ピクセルにアクセスするには?@リファレンス
http://opencv.jp/opencv/document/faq.html

OpenCVプログラミングブックのサンプルコードでは
IplImageをコピーするときにoriginパラメータを見てcvFlip()かcvCopy()を選ぶ処理をしています。