東大2021 の履歴(No.11) - OGI-Wiki

言語学特殊講義XI／コーパス日本語学†

前期金曜4限：14:55-16:40
Mail: ogiso@ogiso.net

Zoomによるリアルタイムのオンライン授業形式で行います。ZoomのURLはITC-LMSのページで確認してください。
- 文学部 04212151 言語学特殊講義XI
- 人文社会系研究科 21210110 コーパス日本語学 ※ITC-LMSのコースをまとめて、学部のページに統合しました。（20210419）

4月23日（第3回）コーパスの設計（2）†

前回続き（スライド残り）†

著作権をめぐる問題
- 科研・昭和平成書き言葉コーパス（構築中）
  - 改正著作権法に則り、権利処理なしでオンライン公開予定

「日本語歴史コーパス」（CHJ）の構成†

https://ccd.ninjal.ac.jp/chj/

残された資料に限りがある（そもそも偏りがある）歴史的なコーパスの場合、現代語コーパス同様の「代表性」を求めることは困難

近世以前: 残されている資料が少なく、できるだけ（可能なら全部）コーパスに入れたい
近世（後期）以降: 偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい（作品など資料単位で調査したい）

『日本語歴史コーパス』の中身
- 中世以前は重要な資料をまるごと対象に
- 近世の洒落本・人情本：年代・著者（・地域）のバランスを取って作品単位でサンプリング

近代語コーパスの場合†

近代雑誌（現在はCHJの一部）
- 多様な記事を含む「総合雑誌」を対象とすることでバランスを確保
- 発行年での大まかなサンプリング
  - 「太陽コーパス」：8年おきに12冊ずつを対象
- その後の雑誌コーパスも8年おきに収録
  - 明六雑誌・東洋学芸雑誌・国民之友・太陽（・中央公論・文藝春秋）
近代小説 ※今日の夕方に公開予定
- 複数の有識者が日本語資料として選定・投票した結果（1980年代に作成した資料）をもとにサンプリング
- https://www.jpling.gr.jp/taikai/happyo/yosi/2019/b/yosi_2019b_e3.pdf

利用する側から見たコーパスの設計†

BCCWJでもCHJでも、どのように設計されているかを知らないと大きな誤りを犯す可能性がある
- サブコーパスのサイズを無視した比較
- バランスのとれていない項目間の単純比較（BCCWJの年代、CHJの時代・ジャンル等）

紙の資料からコーパスまで～テキストの電子化とアノテーションの高度化†

(紙の)本文
(紙の)総索引（コンコーダンス）
電子テキスト：テキスト（199x年代～）
- 授業資料/テキストデータ紹介
構造化テキスト：テキスト+XMLによる構造化タグ（200x年代～）
- 太陽コーパスなど
単語情報付きのコーパス：テキスト+XMLによる構造化タグ+形態論情報　（201x年代～）
- 現代日本語書き言葉均衡コーパス（BCCWJ）など
- 日本語歴史コーパス（CHJ）など

電子化とアノテーション（明六雑誌コーパスを例に）†

明六雑誌コーパス：https://ccd.ninjal.ac.jp/cmj/meiroku/

ファイル形式と実例
1. 電子テキスト：プレーンテキスト
2. 構造化テキスト：XMLファイル
3. 単語情報付きデータ：単語情報を埋め込んだXML　／XMLファイル＋CSVファイル →RDB
  - （発展）XMLの限界とスタンドオフアノテーション

それぞれの利用アプリケーション
1. 電子テキスト：テキストエディタ＋grepなど
2. 構造化テキスト：全文検索システム「ひまわり」
3. 単語情報付きデータ：中納言（オンライン）／Chaki.Net（PC上）

4月16日（第2回）コーパスの設計†

「中納言」授業アカウントの配布について

※以下、スライド（学部授業用）（大学院授業用・同内容）も参照

コーパスとは†

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
- 「ひまわり」パッケージ
Web上のデータ
- 検索サイトの利用
- WAC（Web as Corpus）

言語学分野では前者、自然言語処理分野などでは後者の意味で使いがち。

この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」

コーパスに求められるもの†

コーパス以前の電子化日本語資料（とその限界）
- 個人研究者による電子化テキスト
  - cf. 日本文学等テキストファイル(岡島昭浩)
- 出版社による電子出版物（CD-ROM）
  - 新潮文庫の100冊 etc.
- 新聞のデータベース（CD-ROM）
  - 毎日新聞CD-ROM etc.
- Web上のテキストアーカイブ
  - 青空文庫 etc.
- Webそのもの
  - Web as Corpus

（現代語）コーパスへの要請
- 大規模であること
- 各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
- 著作権の問題がないこと
- 言語研究に利用できる情報がついていること

「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング†

https://ccd.ninjal.ac.jp/bccwj/

均衡コーパス（Balanced corpus）
- 「バランスがとれている」「代表性がある（representative）」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
著作権をめぐる問題★次回、ここから

参考リンク†

英語のコーパスリファレンス
- ブラウンコーパスマニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
- BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
現代日本語書き言葉均衡コーパス（BCCWJ）
- 現代日本語書き言葉均衡コーパス：概要
- BCCWJの基本設計：https://ccd.ninjal.ac.jp/bccwj/basic-design.html
- サンプリング：https://ccd.ninjal.ac.jp/bccwj/sampling.html
- XMLによる電子化：https://ccd.ninjal.ac.jp/bccwj/XML.html

4月9日（第1回）イントロダクション/日本語コーパスの紹介†

イントロダクション†

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 https://www.ninjal.ac.jp/
- 国立国語研究所コーパス開発センター https://ccd.ninjal.ac.jp/

（参考）国語研オープンハウス2020　https://www2.ninjal.ac.jp/openhouse2020/
- 動画「日本語歴史コーパス」の紹介 https://youtu.be/tKvVR2K2h2E

授業内容等の確認†

シラバスの確認
- この授業の目的
- 授業の進め方
- 評価方法

受講者アンケート
- 関心のある分野について
- PC等のスキルについて

「中納言」アカウントについて†

「授業アカウント」について
「中納言」オンライン利用申込み
- https://chunagon.ninjal.ac.jp/useraccount/register

授業で利用する主なソフトウェア・Webアプリケーション（予定）†

ソフトウェアの種類・名前	利用目的
コーパス検索アプリケーション「中納言」	コーパスの検索
表計算ソフトExcel	ピボットテーブルによる分析・グラフ作成
Web茶まめ	形態素解析
テキストエディタサクラエディタ	正規表現を使ったテキストの検索・整形
ワープロWord	「スタイル」を利用したレポート作成
全文検索ソフトひまわり	データの検索,ミニコーパスの作成
R	データの統計分析

授業内容デモ†

コーパスの利用
- 「現代日本語書き言葉均衡コーパス（BCCWJ）」
  - 梵天（BCCWJ文字列検索）
  - 中納言
- 「日本語歴史コーパス（CHJ）」
Excelによる集計（ピボットテーブル）
形態素解析
- Web茶まめ
テキストエディタとgrep
全文検索システムひまわり
R