ubuntu限定で申し訳ないんだけど、minmal（server?)をインストールしてから
コンソールから必要パッケージを追加していくのと、ubuntu-desktopをインストールして
LXDEを追加するのでは、スピードに差がつくのでしょうか？

試しに仮想ゲストにknopix6.1を使ってみたら、感動するほどの速さだったので・・・
出来れば、あのまま日常に使いたいけども。ubuntuだと、うpデートがあるので。