それよりも、x+√(x^2+1)=tとおいた方が楽鴨。
x=(t^2-1)/(2t)、dx=√(x^2+1)/(x+√(x^2+1))dtより、
∫x^2/√(x^2+1)dx=(1/4)∫(t^2-1)^2/(t^3) dt