>>1

とりあえずgoogleは200人のエンジニアで５年で現在の仕組を構築。
あの速度を維持するには500台以上のUnixマシンと冗長性の高いネット
ワーク構築が必須。またcascheについての工夫も当然。

なお、検索エンジンの仕組を考えるのであれば、
1. 効率のよいデータ収集と容量効率のよいDB構造の検討
2. １秒あたり1000万を超えるクエリを処理できる負荷分散の検討
3. 日本語を対象にするなら形態素分析に関する検討
が基礎にあって、

例えば１０億URLの情報が平均500Kでキーワードトークンが平均2K程度になる
と仮定して総indexの容量とそれをどうすれば高速で検索できるのか、hash関数
などをどう使えるのか、そんなことを考えてみてください。

キーワードのフィルタリング、例えば形態素辞書をより高度に活用することなど
は、上記基礎設計の後でじっくり考えてみましょうね。また商用という意味では、
それらを導入するコストパフォーマンスも含めて考える必要も当然あります。

「NGワード等を動的に生成する方法」これは比較的簡単なことで、上記基礎設計
技術とノウハウがあれば可能です。しかしやはり導入による全体のパフォーマン
ス低下がその効果に見合わないというのが実情ですね。

因みにgoogleのエンジニアは全て米国にいます。日本ではエンジンチューニング
の類はしませんから、彼等がここを見て書き込んでることはありません。

私は過去ですが商用検索エンジンの開発経験があるしがないエンジニアでした。