三角形の二辺の長さがa,bで，外接円の半径がrであるとき，第三辺の長さを求めよ(ただし，a＜b＜2r)

第三辺をcとして，余弦定理より，
c^2=a^2+b^2-2*a*b*(b/a)
=a^2-b^2
∴c=√(a^2-b^2)
これだとa＜bよりc＜0になってしまいます。どう考えれば良いのでしょうか？