ax^2-a^3-a^2b+ab^2+b^3-bx^2
=x^2(a-b)-(a^3-b^3)-ab(a-b)
=x^2(a-b)-(a-b)(a^2+ab+b^2)-ab(a-b)
=(a-b){x^2-(a^2+2ab+b^2)}
=(a-b)(x^2-(a+b)^2)
=(a-b)(x-a-b)(x+a+b)

他の方法での因数分解ってないっすかね？