refirio.org

Igo（形態素解析）を使う

※MeCabよりも手軽に形態素解析を利用できる。 [PHP]文章を解析して単語ごとに分解する（形態素解析） http://php-archive.net/php/morphological-analysis/ [PHP]自然言語処理（形態素解析）を利用した簡易全文検索 http://php-archive.net/php/full-text-search1/ ■辞書ファイルの入手 https://sourceforge.net/projects/mecab/files/mecab-ipadic/ から 2.7.0-20070801 をダウンロード。（辞書ファイル。） ■本体の入手 https://osdn.jp/projects/igo/releases/ から igo-0.4.5.jar をダウンロード。（Igo本体。） もしくは igo-0.4.5-src.tar.gz をダウンロードして cd igo-0.4.3-src ant でコンパイル。（igo-0.4.5.jar が作成される。） ■辞書ファイルのビルド 例えば C:\igo で作業する場合、この場所に igo-0.4.5.jar とmecab-ipadic-2.7.0-20070801 を置く。 ビルドに成功すると、ipadicフォルダが作られる。これが辞書となる。 ■PHPプログラムの入手 https://osdn.jp/projects/igo-php/ から igo-php 0.1.7 をダウンロード。 ■サンプルプログラムの作成 ※ipadicディレクトリ（辞書データ）はバイナリモードでアップロードする。 アスキーモードだと正しく認識されない。 ■単語の追加 Java製形態素解析エンジン「Igo」を試してみる http://www.mwsoft.jp/programming/munou/igo_install.html MeCabの辞書を利用できるため、データの作成方法はMeCab用と同じ。 mecab-ipadic-2.7.0-20070801 内に User.name.csv を作成し、以下の内容を記述する。 （ファイル名は任意。文字コードはECU。） 追加したら、辞書ファイルを再ビルドする。 ■はてなキーワードの単語を追加する場合 http://developer.hatena.ne.jp/ja/documents/keyword/misc/catalog から http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv をダウンロード。 mecab-wikipedia-hatena-csv.php で keywordlist_furigana.csv から hatena-list.csv を作成する。 ファイルの文字コードをEUCに変換し、mecab-ipadic-2.7.0-20070801 内に置く。 その後、辞書ファイルを再ビルドする。 PHPのメモリ消費が大きいようなら ini_set('memory_limit', -1); を追加して様子を見る。 ■Wikipediaの単語を追加する場合 https://ja.wikipedia.org/wiki/WP:DD の https://dumps.wikimedia.org/jawiki/ から https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz をダウンロード。 ファイルを展開して jawiki-latest-all-titles-in-ns0 を入手する。 mecab-wikipedia-hatena-csv.php で jawiki-latest-all-titles-in-ns0 から wikipedia-list.csv を作成する。 ファイルの文字コードをEUCに変換し、mecab-ipadic-2.7.0-20070801 内に置く。 その後、辞書ファイルを再ビルドする。 PHPのメモリ消費が大きいようなら ini_set('memory_limit', -1); を追加して様子を見る。 ※無改造の mecab-wikipedia-hatena-csv.php ではてなキーワードとWikipediaの両方を取り込むと、形態素解析の際にメモリ消費が大きすぎた。 mecab-wikipedia-hatena-csv.php を改造して辞書データのサイズを抑え、はてなキーワードのみ取り込むようにした。 また、読み仮名をカタカナで登録するなどの調整も行った。