授業資料/形態素解析 の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 授業資料/形態素解析 へ行く。
  • 1 (2011-12-15 (木) 18:07:13)
  • 2 (2012-05-07 (月) 00:33:20)
  • 3 (2012-12-07 (金) 09:45:32)
  • 4 (2013-12-16 (月) 10:49:04)
  • 5 (2014-05-29 (木) 17:05:37)
  • 6 (2016-10-18 (火) 13:00:21)
  • 7 (2016-10-18 (火) 13:00:21)
  • 8 (2021-04-29 (木) 04:22:22)
  • 9 (2021-05-07 (金) 03:41:53)
  • 10 (2021-05-13 (木) 17:28:48)

---

形態素解析：「Mecab」と「UniDic」

• 形態素解析とは

• デモ（茶まめでUniDic）

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア

主なソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析辞書
  • IPADIC
  • NAIST-jdic
  • UniDic
    • 歴史的資料を対象としたUniDic

茶まめ（解析用のお助けツール）

UniDicの特長

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

UniDicの品詞体系

• cf.UniDicマニュアル
• 品詞：名詞-固有名詞-姓　（大分類＞中分類＞小分類）
• 活用型：下一段-ア行　（大分類＞行分類（＞小分類））
• 可能性に基づく品詞体系
  • 名詞-普通名詞-サ変可能
• 形状詞　（＝形容動詞語幹）
• 助動詞「う」が付いた形を意志推量形として扱う