阪大2013/12月18日 の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 阪大2013/12月18日 へ行く。
  • 1 (2013-12-15 (日) 14:12:13)
  • 2 (2013-12-16 (月) 11:34:11)
  • 3 (2013-12-17 (火) 23:44:52)
  • 4 (2013-12-18 (水) 11:08:04)
  • 5 (2013-12-18 (水) 16:09:54)

---

阪大2013

12月18日

今日の授業で利用する主なソフトウェア†

---

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*2
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

---

• 形態素解析器MeCab（Windows用）最新版　Download

授業用UniDic+MeCabパッケージのダウンロード

• https://dl.dropboxusercontent.com/u/134600/portable-unidic-mecab.zip

茶まめで形態素解析・Excelで集計

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

• テキストのジャンルと語種，品詞の割合をグラフ化してみる
  • ブログのテキストと新聞記事のテキストの解析結果を比較

歴史的資料を対象とした形態素解析

• http://www.ninjal.ac.jp/corpus_center/unidic/

形態素解析結果を使って索引を作る

• 「近代文語UniDic」「中古和文UniDic」を利用した 総索引作成システムの開発
  • JMC2010_concorcance.pdf

形態論情報付きの近代語コーパス

• (国定)高等小学読本コーパス
• 明六雑誌コーパス

明六雑誌コーパス

• 「形態論情報付き近代語コーパスのアノテーション ―『明六雑誌コーパス』を例として―」
  • http://www.anlp.jp/proceedings/annual_meeting/2013/pdf_dir/X2-2.pdf

• Excelによる集計（ピボットテーブル）

日本語歴史コーパス（CHJ）の紹介

• 共同研究プロジェクト> 基幹型> 通時コーパスの設計
  • http://www.ninjal.ac.jp/research/project/pdf/a_corpus.pdf
• NINJAL通時コーパスプロジェクト ホームページ http://historicalcorpus.jp/

• 日本語歴史コーパス
  • http://www.ninjal.ac.jp/corpus_center/chj/
  • 第1弾「平安時代編」の先行公開中

日本語歴史コーパス（CHJ）の登録

• アカウントを作ります