次に、3・1節(2)の生テキストに関してである。適応分野の生テキストは、まず実際に解析してみて、
解析精度がどの程度かを目視で推測することに用いられる。その結果、解析誤りが散見され、
大部分が単語分割ツールの未知語に起因することに気付く。この誤りの対処として、
未知語を単語分割ツールの辞書に追加する。多くの応用研究での分野適応は、この作業までである。
未知語に起因しない誤りもあるので、単語分割精度を十分に向上させるには、生テキストへの情報付与
が必須である。すなわち、文の全ての文字間またはその一部に人手で単語境界情報を付与する。
こうして得られる以下の言語資源を用いて、自動単語分割ツールのモデルを再学習する。
?フルアノテーションコーパス
例: 電-極|端-部|と|対-向|す|る
?部分的アノテーションコーパス
例: 電 極|端-部|と 対 向 す る
ここで、例の中の文字間の記号「|」と「-」と「 」は、順に、単語境界が有る、無い、有るか無いか不明を表す。
このような言語資源には文脈情報があるので、すべての部分文字列が単語となる「上端部」のような文字列
を文脈に応じて単語に分割することが可能となり、単語登録のみの場合よりも精度が高くなる?4
http://plata.ar.media.kyoto-u.ac.jp/mori/research/public/JSAI12Jul.pdf

「法令等に定めがあるとき、又は長沼町個人情報保護審査会の意見を聴いた上で」
「法令等に定めがあるとき、又は池田町個人情報保護審査会の意見を聴いた上で」
この場合は、「長沼」を「池田」に書き換えるだけなので、編集距離は2である。しかしながら、次の場合は異なる。
「法令等に定めがあるとき、又は倶知安町個人情報保護審査会の意見を聴いた上で」
この場合は、「長沼」や「池田」を「倶治安」に換えることになるので、自治体名の長さの違いから、
長沼町や池田町の条文の文面と比較すると、編集距離が3になってしまう。
http://ir.nul.nagoya-u.ac.jp/jspui/bitstream/2237/16943/1/08_%E8%A7%92%E7%94%B0%E7%AF%A4%E6%B3%B0%E6%A7%98.pdf