>>100
x=kにおける格子点の個数をf(k)とおくと
対称性から　f(k) = f(-k)
領域内のx=kにおけるyの取り得る値は
0≦y≦n-k^2　であるから
x=kにおける領域内の格子点の数f(k)は f(k)=1+n-k^2
よって求める個数は
f(0) + 2Σ[k=1,k≦√n]f(k)
=n+1+2Σ[k=1,k≦√n](1+n-k^2)
ここでn-N^2≧0かつ0>n-(N+1)^2満たす最小の自然数Nを用いれば
f(0) + 2Σ[k=1,k≦√n]f(k)
= n+1 + 2Σ[k=1,N](1+n-k^2)
= n+1 + 2( (1+n)N - N(N+1)(2N+1)/6 )
= (1+n)(1+2N) - N(N+1)(2N+1)/3

もっと綺麗な形になるかもしれｎけど