名大2020集中 の履歴(No.5)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 名大2020集中 へ行く。
  • 1 (2020-09-21 (月) 19:34:11)
  • 2 (2020-09-21 (月) 19:59:16)
  • 3 (2020-09-23 (水) 04:15:22)
  • 4 (2020-09-23 (水) 13:54:04)
  • 5 (2020-09-23 (水) 23:42:55)
  • 6 (2020-09-24 (木) 12:21:30)
  • 7 (2020-09-24 (木) 19:28:03)
  • 8 (2020-09-24 (木) 23:33:02)
  • 9 (2020-09-25 (金) 07:35:52)
  • 10 (2020-09-25 (金) 21:49:45)
  • 11 (2020-09-26 (土) 00:51:00)
  • 12 (2020-09-26 (土) 03:08:46)
  • 13 (2020-09-28 (月) 10:55:50)
  • 14 (2020-09-28 (月) 21:58:00)
  • 15 (2020-09-28 (月) 23:17:41)

---

名古屋大学2020・コーパス日本語学入門†

• 日本語講義Ⅲ
• 日本語学特殊研究Ⅲ

もくじ†

日程等†

• 集中講義
  • 9月23日 3-5限（13:00～）
  • 9月24日,25日,28日 2-5限（10:30～）
• オンライン授業
  • 原則としてオンラインのリアルタイム講義 (Teams)
  • TeamsのURLはNUCTで告知する
  • 資料はこのページまたはNUCTで配布する
  • Remo
• 連絡先
  • togiso◎ninjal.ac.jp （←◎を@に）

2020年9月23日(水)†

第1回（3限） イントロダクション/日本語コーパスの紹介†

イントロダクション†

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 https://www.ninjal.ac.jp/
  • 国立国語研究所コーパス開発センター https://pj.ninjal.ac.jp/corpus_center/

• （参考）国語研オープンハウス2020　https://www2.ninjal.ac.jp/openhouse2020/
  • 動画「日本語歴史コーパス」の紹介 https://youtu.be/tKvVR2K2h2E

授業内容等の確認†

• オンライン授業の進め方について
  • 原則としてTeamsでのリアルタイム授業
  • 休み時間のほか、課題時間を挟む

• シラバスの確認
  • この授業の目的
  • 授業の進め方
  • 評価方法

• 受講者アンケート
  • 関心のある分野について
  • PC等のスキルについて

「中納言」アカウントについて†

• 「授業アカウント」について
• 「中納言」オンライン利用申込み
  • https://chunagon.ninjal.ac.jp/useraccount/register

授業で利用する主なソフトウェア・Webアプリケーション（予定）†

授業内容デモ†

• コーパスの利用
  • 「現代日本語書き言葉均衡コーパス（BCCWJ）」
    • 少納言
    • 中納言
  • 「日本語歴史コーパス（CHJ）」
• Excelによる集計（ピボットテーブル）
• 形態素解析
  • Web茶まめ
• テキストエディタとgrep
• 全文検索システムひまわり
• R

第2回（4限） コーパスの設計†

コーパスとは†

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

• 現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

• さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
  • 「ひまわり」パッケージ
• Web上のデータ
  • 検索サイトの利用
  • WAC（Web as Corpus）

• この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」

紙の資料からコーパスまで (日本語研究資料の変遷)†

1. (紙の)本文
2. (紙の)総索引（コンコーダンス）
3. 各種の電子テキスト
   • 授業資料/テキストデータ紹介
4. 構造化テキスト
   • 太陽コーパスなど
5. 形態論情報付きコーパス
   • 現代日本語書き言葉均衡コーパス（BCCWJ）など

コーパスに求められるもの†

• コーパス以前の電子化日本語資料（とその限界）
  • 個人研究者による電子化テキスト
    • cf. 日本文学等テキストファイル(岡島昭浩)
  • 出版社による電子出版物（CD-ROM）
    • 新潮文庫の100冊 etc.
  • 新聞のデータベース（CD-ROM）
    • 毎日新聞CD-ROM etc.
  • 研究機関のデータベース
    • 国文学資料館 大系DB etc.
  • Web上のテキストアーカイブ
    • 青空文庫 etc.
  • Webそのもの
    • Web as Corpus

• コーパスへの要請
  • 大規模であること
  • 各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
  • 著作権の問題がないこと
  • 言語研究に利用できる情報がついていること

「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング†

• https://pj.ninjal.ac.jp/corpus_center/bccwj/

• 均衡コーパス（Balanced corpus）
  • 「バランスがとれている」「代表性」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題

「日本語歴史コーパス」（CHJ）の構成†

• https://pj.ninjal.ac.jp/corpus_center/chj/

参考リンク†

• 英語のコーパス リファレンス
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
• 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 現代日本語書き言葉均衡コーパス：概要
  • BCCWJの基本設計：https://pj.ninjal.ac.jp/corpus_center/bccwj/basic-design.html
  • サンプリング：https://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html
  • XMLによる電子化：https://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html

第3回（5限） コーパスの形態論情報と形態素解析†

• 配布資料：「中納言の使い方」

コーパスの形態論情報†

• http://pj.ninjal.ac.jp/corpus_center/bccwj/morphology.html

• 短単位と長単位
  • （配付資料）参照
  • （スライド）参照

• 品詞体系
  • BCCWJはUniDicの品詞体系にもとづく
    • 形態論情報の例
  • 授業資料/UniDicの品詞体系
  • 授業資料/UniDicの見出し語階層

コーパスへの形態論情報の付与†

• 短単位：MeCabとUniDicを使った形態素解析で情報付与
• 長単位：Comainu（など）で短単位を組み上げる

• BCCWJ関連報告書 http://pj.ninjal.ac.jp/corpus_center/bccwj/doc.html
  • 形態論情報規程集(PDF)　第4版 上・第4版 下

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*2
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

最近の形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++
  • ごく最近公開されたRNN（ディープラーニングの一種）を使った形態素解析器

長単位解析器†

• Comainu
  • https://ja.osdn.net/projects/comainu/

係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/ ※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

日本語コーパスのタグ付けのレベル†

1. プレーンテキスト：テキストエディタ（grepと正規表現）
2. 構造化テキスト（旧「太陽コーパス」など）：XMLと「ひまわり」
3. 形態素解析済みテキスト（BCCWJ，CHJなど）：「中納言」
4. 係り受け情報・統語情報付き（NWJC,NPCMJなど）：ChaKi, NPCMJ Searchなど

2020年9月24日(木)†

2-4限†

2020年9月25日(金)†

2-4限†

2020年9月28日(月)†

2-4限†