原画像を回転した画像を、矩形領域にぴったりおさめて
画像を出力するプログラムを作ってます。
(ESPLIB6.5というフリーのライブラリ関数を使ってます)

線形補間まではできるようになって、見た目９５％程度は滑らかになったのですが、
背景部分と変換した原画像の境目だけ、まだギザギザしたエッジが残っています。
これを取り去って滑らかにしたいのですが、何か良い手法はありますでしょうか。
HPでも本でも何か参考になるものがありましたら、教えてください。