cannyedgeのような方法でtracingすれば曲線は取れると思うけど
その条件で対象とそれ以外を分離できるとは思えないな