未知語処理の定義

概要

未知語処理(辞書に載っていない単語の形態素解析の処理)についてユーザが再定義できます。

設定ファイル

配布辞書のディレクトリにある char.def と unk.def という2つのファイル を変更します.

char.def

未知語処理のルールです. こちらを御覧ください.

unk.def

未知語に対する品詞列のテーブルです. こちらを 御覧ください.

ケーススタディ

数字の連続を1つの形態素とする

• 辞書 (*.csv ファイル)から数字のエントリを削除します。 ipadic の場合は、Noun.number.csv の中から、アラビア数字のエントリを消去します。
• char.def を修正し、数字の連続が未知語になるようにします。

  ..
  NUMERIC        1 1 0
  ..
  

• unk.def を修正し、数字のコストを小さくします。 4カラム目のコスト値を 0以下の小さい値に設定します。

  NUMERIC,1204,1204,0,名詞,数,*,*,*,*,*
  

• 辞書をコンパイルします。

  % /usr/local/libexec/mecab/mecab-dict-index 
  

ASCII 文字列は、スペース/タブのみで分割する (kakasiと同一動作)

• 辞書 (*.csv ファイル)からアスキー文字列を含むのエントリを削除します。
• char.def を修正し、スペース、記号を除く文字を同一字種(ASCII)にマッピ ングします。他のエントリも同時にチェックし、0x0021..0x007E の領域を 他の字種にマッピングしないようにしてください。

  ASCII       1 1 0
  
  0x0021..0x007E ASCII
  

• unk.def を修正し、ASCIIのコストを小さくします。 4カラム目のコスト値を 0以下の小さい値に設定します。

  ASCII,1192,1192,0,名詞,サ変接続,*,*,*,*,*
  

• 辞書をコンパイルします。

  % /usr/local/libexec/mecab/mecab-dict-index