そういうときは面倒な部分を無視するのはどうだろう
1) y の存在を忘れて　5x^2＋14x -3 だと思う -> (5x - 1)(x + 3)
2) x の存在を忘れて -6y^2 + 11y -3 だと思う -> (3y - 1)(-2y + 3)

3) 1)と2) を合体させて (5x + 3y -1)(x -2y + 3)　だとして
展開してみる -> 5x^2−7xy−6y^2＋14x＋11ｙ−3

-> 合ってるから大勝利！！　これで良いのでは？