x^2 + 10xy + y^2 - 6 = 0　　　…(1)
を回転により標準形にせよ。

[解]
原点の周りにθだけ回転すると
(x cosθ+y sinθ)^2 +
10(x cosθ + y sinθ)(-x sinθ + y cosθ)
+ (-x sinθ + y cosθ)^2 - 6 = 0　　　…(2)
これを展開して xy の係数=0とおくと　　　　　←質問1
cos 2θ = 0
∴2θ=90°
∴θ=45°
[公式では　tan 2θ = 10/(1-1) = ∞]　　　　←質問2
(2)にθ=45°を代入すると
3y^2 - 2x^2 = 3 (双曲線)

注:
A + B = a + b = 2
AB = ab - h^2 = -24
ゆえに -4x^2 + 6y^2 - 6 = 0
[または 6x^2 - 4y^2 - 6 = 0 (θ=-45°のとき)]　　←質問3
として求めることができる。

…とあるんですが、質問が三つもあります。
質問1: 何故ここでは xy の係数を勝手に 0 とおいていいんですか？
質問2: 10/(1-1) は 無限大ではなくて未定義じゃないのですか？
質問3: (θ=-45°のとき)とありますが、上の加算と乗算だとAとBを任意に交換しても問題ないですよね？
　　　　それなのになぜ、ABとBAで角度はそれぞれ45°、-45°と決まっているんですか？

独立している質問なので一問ずつバラバラに答えていただいて結構です。
では、よろしくお願いします。