>>744
xy座標上に点Oを原点、点Aを（1,0）、点Bを（1/2,√3/2）、点Pを（X,Y）と置く

AP↑・(3AP↑+2BP↑)=0 ⇔ （OP↑-OA↑）・(3OP↑-3OA↑+2OP↑-2OB↑)=0
⇔ （OP↑-OA↑）・(5OP↑-3OA↑-2OB↑)=0
⇔ 5*|OP↑|＾2 -8*OP↑・OA↑-2*OP↑・OB↑+3*|OA↑|＾2 +2*OA↑・OB↑=0

上の式に
|OP↑|＾2=X^2 +Y^2 、OP↑・OA↑=X 、OP↑・OB↑=（1/2）*X+（√3/2）*Y、|OA↑|＾2=1 、OA↑・OB↑=1/2
を代入すると…
5*（X^2 +Y^2）-8X-2｛（1/2）*X+（√3/2）*Y｝+3*1+2*（1/2）=0
上の式を両辺5で割ってそれぞれの文字について平方完成すると円の方程式が出てくるよ