アフィン変換とか射影変換の行列を入力して画像変換できるライブラリ知らない？
補間方法がバイリニア、バイキュービック、ランチョスとか選べるとなおよし。
OpenCVは固定小数点化とかしてるから結果が信用出来ないんだよね。