Object o = map.get("hoge");
if (o instanceof Foo) {
  ((Foo) o).bar();
}

こういう場合ならキャストが必要なことに納得してくれるのかなぁ。