x^2-ax-3b=0…①、x^2-bx-3a=0…②、x^3+px^2+qx+a^3-27=0…③とおく。
①－②を計算して共通解3を出すところはいいですね。
①の解をα,3とすると、解と係数の関係からα+3=a, 3α=-3bとなりますね。
これらから、α=-b, b=3-a…④が出てきます。
同様に②の解をβ,3とすると、解と係数の関係からβ+3=b, 3β=-3aとなり、
これらから、β=-a, b=3-aが出てきます。
①、②の解がすべて③の解だから、③は次のように表せます。
(x-α)(x-β)(x-3)=0　<==>　(x+b)(x+a)(x-3)=0
これを変形しましょう。まず最初の2つの（　）をはずすと、
{x^2+(a+b)x+ab}(x-3)=0
④より、a+b=3なので、
(x^2+3x+ab)(x-3)=0 　<==>　x^3+(ab-9)x-3ab=0
これが③となるはずだから、
p=0, q=ab-9, a^3-27=-3ab　　…⑤
3つめの式を変形しましょう。④よりb=3-aだから、
a^3-27=-3a(3-a)　<==>　a^3-3a^2+9a-27=0　<==>　(a-3)(a^2+9)=0
これより、a=3。したがって、b=0。
よって、⑤の2つめの式から、q=-9。
以上より、a=3, b=0, p=0, q=-9。