日本大学2010 の履歴(No.5)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 日本大学2010 へ行く。
  • 1 (2010-11-05 (金) 17:49:32)
  • 2 (2010-11-05 (金) 17:49:32)
  • 3 (2010-11-05 (金) 22:41:56)
  • 4 (2010-11-06 (土) 10:34:40)
  • 5 (2010-11-06 (土) 14:15:40)

---

総合研究４ オムニバス講義

11/6(土), 11/13(土)

概略

形態素解析の仕組みの概要を理解したうえで、形態素解析器MeCabと形態素解析辞書UniDicを用いて実際に解析を行い結果を集計する方法を学ぶ。これにより形態素解析を各自の研究テーマに応用することを目指す。
1限目：形態素解析の仕組みとUniDicの概略
2限目：形態素解析プログラム（茶まめ，MeCab，UniDic）の利用
3限目：形態素解析結果の利用（表計算ソフト，データベースソフト）
4限目：形態素解析の研究への活用

採点対象となる課題内容

任意のテキストデータに形態素解析を施し、その解析結果を集計して有意義な調査結果をとりまとめる。

形態素解析：「Mecab」と「UniDic」

• 形態素解析とは
  • 配付資料：シリーズ国語研究の現場から「日本語研究と自動形態素解析」
  • デモ（茶まめでUniDic）

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない。訳語に問題がある（誤訳）
  • 日本語の形態素解析の単位は一般に「語」。（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア

主なソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析辞書
  • IPADIC
  • NAIST-jdic
  • UniDic
    • 歴史的資料を対象としたUniDic

茶まめ（解析用のお助けツール）

UniDicの特長

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

茶まめで形態素解析・Excelで集計

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

• テキストのジャンルと語種，品詞の割合をグラフ化してみる

UniDicの品詞体系

• cf.UniDicマニュアル
• 品詞：名詞-固有名詞-姓　（大分類＞中分類＞小分類）
• 活用型：下一段-ア行　（大分類＞行分類（＞小分類））
• 可能性に基づく品詞体系
  • 名詞-普通名詞-サ変可能
• 形状詞　（＝形容動詞語幹）
• 助動詞「う」が付いた形を意志推量形として扱う

解析結果のデータベースでの利用：「Access」

• 関係データベースとは
  • Wikipedia

• 形態素解析結果をAccessで使う(PDF)

データベースに取り込む：

1. Accessで新規データベースを作成(mdbファイル)
2. インポート
   • 文字コード（コードページをUTF-8に指定する）
3. 連番を付ける

データを取り出す・集計する

• 選択クエリ
  • 列を選択
  • 行を選択
• 表の結合
  • 内部結合と外部結合
  • 表を結合して選択
• 集計
  • カウント（何例あるか）
  • 合計・平均・・・

連続する形態素を取り出す・集計する

1. 次の形態素の連番を付ける
   1. 列を用意する
   2. 更新クエリ
2. 連続する形態素を抜き出すには
   1. 解析結果テーブル自身をずらして結合する（連番を利用）
   2. 前後の形態素で条件指定した選択クエリを書く

さまざまな指標の出し方

• 異なり語数とのべ語数
• UniDicの解析結果では、語彙素・語彙素読み・品詞・活用型でグループ化することで（表記違いや活用形違いをまとめ上げた）語数の集計ができる
• 異なり語数／のべ語数：TTR（Type-Token Ratio）
  • 語彙の豊かさの指標の一つ
• 名詞率
  • 要約的な文章ほど高い
• MVR：「形容詞・形容動詞・副詞・連体詞」（Modifier）の合計数を「動詞」（Verb） で割った比率（Ratio）
  • 高「ありさま描写的」<--->低「動き描写的」といわれる