>>232 2問目
まず，求める範囲（Sとします）は {(X,Y)|0<X<2} に含まれることに注意し，
以下ここで考えます．

0<X<2 を満たす点(X,Y)が，Sに属するための必要十分条件は
「p+q=X かつ (p+q)(p-q)=Y」を満たす (p,q), 即ち p=(X+Y/X)/2, q=(X-Y/X)/2 が
0<p<1, 0<q<1 を満たすことである．つまり，
(X,Y)∈S ⇔ 0<(X+Y/X)/2<1 かつ 0<(X-Y/X)/2<1
が成立する．

あとは，右辺を0<X<2 を前提として同値変形すれば，S が明らかになります．
（X^2＝(p-q)^2+4pq　などに着目する必要はありません．）