ちなみに
NG
Dictionary<string, object> dictionary = (Dictionary<string, object>)(serializer.Deserialize<Hashtable>(input).Item["response"];

でした
VB.net特有のDirectCastの動きがよくわからないので・・・・