>>10
x*x+y*y>1なら円の外部では??

あとRAND_MAX - 1; じゃなくて
RAND_MAX 1;では?RAND_MIN -1;
では?