x^2 + y^2 + xy という式を
(x+y)^2 に置き換えたいので
公式のx^2 + y^2 = (x + y)^2 - 2xy を利用すると

x^2 + y^2 = - xy として、公式に当てはめると
x^2 + y^2 = (x + y)^2 - 2xy - xy とするのはどこが駄目なのでしょうか？