それはIISがキャッシュしてるから。
IIS5.0のヘルプにそういうことが書いてあったはず。