ライブラリ側のプロジェクトになんで余計なものが入っているの？
使ってるクラスだけ選べってことなら動的に決まったりするから、プロジェクト参照しただけじゃ、判断しようがないじゃん。