URLClassLoader#loadClass(null)で呼び出したクラスは、
このクラスローダがGCされると綺麗にメモリ上から消えますか？

public static void run(URL jarFile, String className) throws Exception {
    Class clazz = new URLClassLoader(new URL[]{jarFile}).loadClass(className);
    MyInterface obj = (MyInterface) clazz.newInstance();
    obj.run();
}