今まで、不要な参照名前空間を外す作業を普通に行ってましたが、
コーディング上、キレイではないという点以外で、
不要な参照名前空間があることで どのようなデメリットが生じるのでしょうか？

参照している名前空間はガベージコレクションの対象にならない。
という勝手な推測をしてますが、実際どうなんでしょうか。
よろしくお願い致します。