gitやsvnから落としたライブラリをどう管理すべきか迷っています。

自分の環境では、~/downloadというディレクトリにwget、git、svnで落としたものを全部放り込んでたのですが、
後でどれがgitやsvnで管理されてるのか、一見するだけでは区別付かなくなってしまいました。

なので、今は以下のように分けてます。
~/download/git
~/download/svn
・・・
ただこの分け方だと、今度はどのライブラリがどこに保存されてるのか見つけるのが面倒になるんです。
出来ることならやっぱりライブラリの種別でディレクトリ分けたいです。
Linux熟練者の方はどうやって管理してますか？