二等辺三角形ABCについて、Aから辺BC上に下ろした垂線の交点をMとすると、
MはBCの中点だからBM=6/2=3、AM=√(5^2-3^2)=4、ここで PS=QR=x とおくとBQ=RC=(6-x)/2
△ABM∽△PBQで、AM:BM=4:3 だから PQ=SR=2(6-x)/3
よって長方形PQRSの面積Sは、S=x*{2(6-x)/3}=(2/3){-(x-3)^2+9} より9*(2/3)=6 (cm^2)