普通に円周上の点の位置ベクトルをa↑=(x,y)(実際には縦ベクトル)とおいて、移動後の位置ベクトルを(X,Y)(縦ベクトル)とすれば
(X,Y)=Aa↑=(x-2y,-4(x-2y))
よって図形は直線Y=-4X上にある
あとはx=sinθ,y=cosθ(0≦θ≦2π)とでもおいて、三角関数の合成で
x-2yのとりうる値を求めて終わり
ちなみに結果は直線y=-4x (-√5≦x≦√5)