東大2021 の履歴(No.26)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 東大2021 へ行く。
  • 1 (2021-03-09 (火) 01:28:03)
  • 2 (2021-04-08 (木) 08:43:37)
  • 3 (2021-04-09 (金) 10:39:10)
  • 4 (2021-04-09 (金) 10:39:10)
  • 5 (2021-04-10 (土) 01:30:54)
  • 6 (2021-04-10 (土) 01:30:54)
  • 7 (2021-04-16 (金) 05:27:09)
  • 8 (2021-04-16 (金) 23:53:58)
  • 9 (2021-04-17 (土) 02:00:06)
  • 10 (2021-04-20 (火) 07:33:32)
  • 11 (2021-04-23 (金) 04:24:10)
  • 12 (2021-04-23 (金) 22:55:25)
  • 13 (2021-04-29 (木) 04:14:34)
  • 14 (2021-04-30 (金) 23:39:37)
  • 15 (2021-04-30 (金) 23:39:37)
  • 16 (2021-05-07 (金) 03:43:15)
  • 17 (2021-05-07 (金) 23:07:21)
  • 18 (2021-05-20 (木) 22:24:37)
  • 19 (2021-05-22 (土) 00:01:12)
  • 20 (2021-05-22 (土) 02:51:52)
  • 21 (2021-05-28 (金) 09:47:47)
  • 22 (2021-05-29 (土) 01:52:55)
  • 23 (2021-05-29 (土) 01:52:55)
  • 24 (2021-06-04 (金) 18:48:19)
  • 25 (2021-06-04 (金) 23:04:05)
  • 26 (2021-06-05 (土) 01:50:27)
  • 27 (2021-06-11 (金) 23:20:37)
  • 28 (2021-06-12 (土) 01:55:14)
  • 29 (2021-06-19 (土) 01:42:55)
  • 30 (2021-06-19 (土) 01:42:55)
  • 31 (2021-06-25 (金) 19:00:36)
  • 32 (2021-06-25 (金) 23:49:37)
  • 33 (2021-06-25 (金) 23:49:37)
  • 34 (2021-06-25 (金) 23:49:37)
  • 35 (2021-07-02 (金) 23:41:54)
  • 36 (2021-07-09 (金) 02:19:28)
  • 37 (2021-07-09 (金) 23:46:58)

---

FrontPage

言語学特殊講義XI／コーパス日本語学†

• 前期金曜4限：14:55-16:40
• Mail: ogiso@ogiso.net

• Zoomによるリアルタイムのオンライン授業形式で行います。ZoomのURLはITC-LMSのページで確認してください。
  • 文学部 04212151 言語学特殊講義XI
  • 人文社会系研究科 21210110 コーパス日本語学 ※ITC-LMSのコースをまとめて、学部のページに統合しました。（20210419）

---

• リンク：「中納言」https://chunagon.ninjal.ac.jp/

• 質問を受け付けています。自由に記入してください。次の授業で回答します。
  • https://itc-lms.ecc.u-tokyo.ac.jp/lms/course/surveys/take?idnumber=2021042121510F01&surveyId=10224

6月11日（第9回） 検索結果集計のための応用：調整頻度の計算／文字列関数†

調整頻度（pmw）†

• 粗頻度を総語数で割る
  • レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
    • 短単位語数表：http://doi.org/10.15084/00003226
    • 語数ファイルをピボットテーブルで集計して分母に

• 調整頻度には100万語あたりの頻度（pmw）がよく使われる
  • 粗頻度/コーパス総語数*1000000
    • 数字が小さくなりすぎないようにするため

• ※割合を比較するだけなら調整頻度を出す必要はない。

セルの相対参照と絶対参照†

『日本語歴史コーパス』で復習†

• 頻度で見る「あはれ」「をかし」と源氏・枕

Excelの文字列関数†

• 授業資料/EXCELの文字列関数参照

（参考）ジップ（Zipf）の法則†

• 順位×頻度≒定数

（参考）Mac版Excelと文字種†

6月4日（第8回） Excelによる検索結果の集計2：ちょっとした応用と注意点†

複数の検索結果の結合（復習）†

• 例：蒲公英・向日葵・菫

ショートカットキーを活用すると便利

• Ctrl+End　ファイルの末尾/表のいちばん右下に移動
• Shift+Ctrl+End　〃範囲を選択

1. 表をコピー
   • Ctrl+Home, ↓（列名はコピーしないようにする）,Shift+Ctrl+End, Ctrl+C
2. コピーした表を既存の表の下に貼り付け
   • Ctrl+↓, ↓, Ctrl+V

（参考）ショートカットキー†

• 授業資料/覚えておきたいショートカットキー

ランダムサンプリング調査†

※BCCWJでも「中納言」の出力結果は十分にランダムではない

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

• ex.「られる」（意味・用法）、「全然」（陳述副詞の呼応）のように多数あり全例チェックが必要な場合

出現サンプル数の調査（重複の削除）†

用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合

• たとえば同一サンプル内での繰り返しが多いものを調査するとき（例：一人称代名詞など）
  • 「データ」→「重複の削除」

BCCWJ利用の落とし穴†

• BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
  • レジスターによって母集団の年が違っている
    • レジスターの偏りを年代の偏りと勘違いしないこと
  • 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ

• もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
  • cf.人口あたりの事故件数，１平方キロあたりの…etc.

• BCCWJの語数
  • https://ccd.ninjal.ac.jp/bccwj/bcc-chu-suw.html
• 短単位語数表をピボットテーブルで集計
  • 短単位語数表：http://doi.org/10.15084/00003226

5月28日（第7回）「中納言」の使い方2：Excelによる検索結果の集計†

• 「中納言」https://chunagon.ninjal.ac.jp/

復習†

• 中納言検索課題（PDF）

Excel†

• 中納言の使い方（PDF）
  • 7．～

「中納言」検索結果のダウンロードとExcelでの利用†

1. ダウンロード
2. Excelでインポート

• データの形式
  • タブ区切りテキストの各列

• 複数ファイルの一括検索結果（zip圧縮）

Excelの基礎†

• 並べ替え（ソート）
  • 反転前文脈の使い方
• フィルタ（絞り込み）
  • テキストフィルタ
  • 多重フィルター（複数の条件指定）

【重要】ピボットテーブルの使い方†

• ピボットテーブル
• ピボットグラフ

集計用の列を自分で用意する†

• 例：「可能性が＋形容詞」の集計

複数の検索結果の結合†

• 例：犬／猫／駱駝
  • 文字種（ひらがな・カタカナ・漢字）別集計

5月21日（第6回） 「中納言」の使い方†

• 「中納言」https://chunagon.ninjal.ac.jp/
  • BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt
  • CHJ: https://chunagon.ninjal.ac.jp/chj

• 中納言の使い方（PDF）
  • 3.4補足、4．～

位置情報と用例へのパーマリンク†

• 位置検索
  • サンプルID,開始位置*1のセットでコーパス上の用例の位置を一意に指定できる
  • 位置検索での区切り記号はカンマのほかタブやスペースでも可

• 用例へのpermalink
  • BCCWJコアの「やぱ」：https://chunagon.ninjal.ac.jp/bccwj-nt/permalink?unit=short&position=OY14_13636,1930
  • CHJ源氏冒頭の「やんごとなし」：https://chunagon.ninjal.ac.jp/chj/permalink?unit=short&position=20-%E6%BA%90%E6%B0%8F1010_00001,330

検索条件式の利用†

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 IN ((registerName="出版・新聞" AND core="true") OR (registerName="出版・雑誌" AND core="true") OR (registerName="出版・書籍" AND core="true") OR (registerName="特定目的・白書" AND core="true") OR (registerName="特定目的・知恵袋" AND core="true") OR (registerName="特定目的・ブログ" AND core="true"))

• NOTの使い方

キー: 語彙素="カレー"
 AND 後方共起: (品詞 LIKE "助詞-格助詞%" AND NOT(語彙素 LIKE "[がをに]")) ON 1 WORDS FROM キー

※NOT演算子ではなく、条件句（○○="□□"や○○ LIKE "□□"）の否定にのみ使える*2

5月7日（第5回） コーパス検索アプリケーション「中納言」†

• 「中納言」https://chunagon.ninjal.ac.jp/
  • BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt
  • CHJ: https://chunagon.ninjal.ac.jp/chj

• 中納言の使い方

4月30日（第4回） コーパスの形態論情報と形態素解析†

コーパスの形態論情報†

• https://ccd.ninjal.ac.jp/bccwj/morphology.html

• 短単位と長単位
  • （スライド）長単位と短単位 参照
  • 長単位と短単位・資料 単位切りの例
  • （参考）動画：コーパス検索システムの言語単位『短単位』 https://youtu.be/s5akpYOzNIU

• コーパス検索アプリケーション「中納言」と短単位と長単位
  • 中納言の使い方

• 品詞体系
  • BCCWJはUniDicの品詞体系にもとづく
    • 形態論情報の例
  • 授業資料/UniDicの品詞体系
  • 授業資料/UniDicの見出し語階層

コーパスへの形態論情報の付与†

• 短単位：MeCabとUniDicを使った形態素解析で情報付与
• 長単位：Comainu（など）で短単位を組み上げる

• BCCWJ関連報告書 https://ccd.ninjal.ac.jp/bccwj/doc.html
  • 形態論情報規程集(PDF)　第4版 上・第4版 下

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*3
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*4
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

最近の形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

長単位解析器†

• Comainu
  • https://ja.osdn.net/projects/comainu/

係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/ ※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

日本語コーパスのタグ付けのレベル†

1. プレーンテキスト：テキストエディタ（grepと正規表現）
2. 構造化テキスト（旧「太陽コーパス」など）：XMLと「ひまわり」
3. 形態素解析済みテキスト（BCCWJ, CHJなど）：「中納言」
4. 係り受け情報・統語情報付き（NWJC, NPCMJなど）：ChaKi, NPCMJ Searchなど

4月23日（第3回） コーパスの設計（2）†

前回続き（スライド残り）†

• 著作権をめぐる問題
  • 科研・昭和平成書き言葉コーパス（構築中）
    • 改正著作権法に則り、権利処理なしでオンライン公開予定

「日本語歴史コーパス」（CHJ）の構成†

• https://ccd.ninjal.ac.jp/chj/

• 残された資料に限りがある（そもそも偏りがある）歴史的なコーパスの場合、現代語コーパス同様の「代表性」を求めることは困難

近世以前

残されている資料が少なく、できるだけ（可能なら全部）コーパスに入れたい

近世（後期）以降

偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい（作品など資料単位で調査したい）

• 『日本語歴史コーパス』の中身
  • 中世以前は重要な資料をまるごと対象に
  • 近世の洒落本・人情本：年代・著者（・地域）のバランスを取って作品単位でサンプリング

近代語コーパスの場合†

• 近代雑誌（現在はCHJの一部）
  • 多様な記事を含む「総合雑誌」を対象とすることでバランスを確保
  • 発行年での大まかなサンプリング
    • 「太陽コーパス」：8年おきに12冊ずつを対象
  • その後の雑誌コーパスも8年おきに収録
    • 明六雑誌・東洋学芸雑誌・国民之友・太陽（・中央公論・文藝春秋）
• 近代小説 ※今日の夕方に公開予定
  • 複数の有識者が日本語資料として選定・投票した結果（1980年代に作成した資料）をもとにサンプリング
  • https://www.jpling.gr.jp/taikai/happyo/yosi/2019/b/yosi_2019b_e3.pdf

利用する側から見たコーパスの設計†

• BCCWJでもCHJでも、どのように設計されているかを知らないと大きな誤りを犯す可能性がある
  • サブコーパスのサイズを無視した比較
  • バランスのとれていない項目間の単純比較（BCCWJの年代、CHJの時代・ジャンル等）

紙の資料からコーパスまで ～テキストの電子化とアノテーションの高度化†

1. (紙の)本文
2. (紙の)総索引（コンコーダンス）
3. 電子テキスト：テキスト （199x年代～）
   • 授業資料/テキストデータ紹介
4. 構造化テキスト：テキスト+XMLによる構造化タグ （200x年代～）
   • 太陽コーパスなど
5. 単語情報付きのコーパス：テキスト+XMLによる構造化タグ+形態論情報　（201x年代～）
   • 現代日本語書き言葉均衡コーパス（BCCWJ）など
   • 日本語歴史コーパス（CHJ）など

電子化とアノテーション（明六雑誌コーパスを例に）†

• 明六雑誌コーパス：https://ccd.ninjal.ac.jp/cmj/meiroku/

• ファイル形式と実例
  1. 電子テキスト：プレーンテキスト
  2. 構造化テキスト：XMLファイル
  3. 単語情報付きデータ：単語情報を埋め込んだXML　／XMLファイル＋CSVファイル →RDB
     • （発展）XMLの限界とスタンドオフアノテーション

• それぞれの利用アプリケーション
  1. 電子テキスト：テキストエディタ＋grepなど
  2. 構造化テキスト：全文検索システム「ひまわり」
  3. 単語情報付きデータ：中納言（オンライン）／Chaki.Net（PC上）

4月16日（第2回） コーパスの設計†

• 「中納言」授業アカウントの配布について

※以下、スライド（学部授業用）（大学院授業用・同内容）も参照

コーパスとは†

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

• 現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

• さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
  • 「ひまわり」パッケージ
• Web上のデータ
  • 検索サイトの利用
  • WAC（Web as Corpus）

• 言語学分野では前者、自然言語処理分野などでは後者の意味で使いがち。

• この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」

コーパスに求められるもの†

• コーパス以前の電子化日本語資料（とその限界）
  • 個人研究者による電子化テキスト
    • cf. 日本文学等テキストファイル(岡島昭浩)
  • 出版社による電子出版物（CD-ROM）
    • 新潮文庫の100冊 etc.
  • 新聞のデータベース（CD-ROM）
    • 毎日新聞CD-ROM etc.
  • Web上のテキストアーカイブ
    • 青空文庫 etc.
  • Webそのもの
    • Web as Corpus

• （現代語）コーパスへの要請
  • 大規模であること
  • 各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
  • 著作権の問題がないこと
  • 言語研究に利用できる情報がついていること

「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング†

• https://ccd.ninjal.ac.jp/bccwj/

• 均衡コーパス（Balanced corpus）
  • 「バランスがとれている」「代表性がある（representative）」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題★次回、ここから

参考リンク†

• 英語のコーパス リファレンス
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
• 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 現代日本語書き言葉均衡コーパス：概要
  • BCCWJの基本設計：https://ccd.ninjal.ac.jp/bccwj/basic-design.html
  • サンプリング：https://ccd.ninjal.ac.jp/bccwj/sampling.html
  • XMLによる電子化：https://ccd.ninjal.ac.jp/bccwj/XML.html

4月9日（第1回）イントロダクション/日本語コーパスの紹介†

イントロダクション†

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 https://www.ninjal.ac.jp/
  • 国立国語研究所コーパス開発センター https://ccd.ninjal.ac.jp/

• （参考）国語研オープンハウス2020　https://www2.ninjal.ac.jp/openhouse2020/
  • 動画「日本語歴史コーパス」の紹介 https://youtu.be/tKvVR2K2h2E

授業内容等の確認†

• シラバスの確認
  • この授業の目的
  • 授業の進め方
  • 評価方法

• 受講者アンケート
  • 関心のある分野について
  • PC等のスキルについて

「中納言」アカウントについて†

• 「授業アカウント」について
• 「中納言」オンライン利用申込み
  • https://chunagon.ninjal.ac.jp/useraccount/register

授業で利用する主なソフトウェア・Webアプリケーション（予定）†

授業内容デモ†

• コーパスの利用
  • 「現代日本語書き言葉均衡コーパス（BCCWJ）」
    • 梵天（BCCWJ文字列検索）
    • 中納言
  • 「日本語歴史コーパス（CHJ）」
• Excelによる集計（ピボットテーブル）
• 形態素解析
  • Web茶まめ
• テキストエディタとgrep
• 全文検索システムひまわり
• R