東大2021 の履歴(No.9) - OGI-Wiki

言語学特殊講義XI／コーパス日本語学†

前期金曜4限：14:55-16:40
Mail: ogiso@ogiso.net

Zoomによるリアルタイムのオンライン授業形式で行います。ZoomのURLはITC-LMSのページで確認してください。
- 文学部 04212151 言語学特殊講義XI
  - https://itc-lms.ecc.u-tokyo.ac.jp/lms/course?idnumber=2021042121510F01
- 人文社会系研究科 21210110 コーパス日本語学
  - https://itc-lms.ecc.u-tokyo.ac.jp/lms/course?idnumber=2021212101100F01

4月16日（第2回）コーパスの設計†

「中納言」授業アカウントの配布について

※以下、スライド（学部授業用）（大学院授業用・同内容）も参照

コーパスとは†

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
- 「ひまわり」パッケージ
Web上のデータ
- 検索サイトの利用
- WAC（Web as Corpus）

言語学分野では前者、自然言語処理分野などでは後者の意味で使いがち。

この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」

コーパスに求められるもの†

コーパス以前の電子化日本語資料（とその限界）
- 個人研究者による電子化テキスト
  - cf. 日本文学等テキストファイル(岡島昭浩)
- 出版社による電子出版物（CD-ROM）
  - 新潮文庫の100冊 etc.
- 新聞のデータベース（CD-ROM）
  - 毎日新聞CD-ROM etc.
- Web上のテキストアーカイブ
  - 青空文庫 etc.
- Webそのもの
  - Web as Corpus

（現代語）コーパスへの要請
- 大規模であること
- 各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
- 著作権の問題がないこと
- 言語研究に利用できる情報がついていること

「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング†

https://ccd.ninjal.ac.jp/bccwj/

均衡コーパス（Balanced corpus）
- 「バランスがとれている」「代表性がある（representative）」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
著作権をめぐる問題★次回、ここから

参考リンク†

英語のコーパスリファレンス
- ブラウンコーパスマニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
- BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
現代日本語書き言葉均衡コーパス（BCCWJ）
- 現代日本語書き言葉均衡コーパス：概要
- BCCWJの基本設計：https://ccd.ninjal.ac.jp/bccwj/basic-design.html
- サンプリング：https://ccd.ninjal.ac.jp/bccwj/sampling.html
- XMLによる電子化：https://ccd.ninjal.ac.jp/bccwj/XML.html

4月9日（第1回）イントロダクション/日本語コーパスの紹介†

イントロダクション†

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 https://www.ninjal.ac.jp/
- 国立国語研究所コーパス開発センター https://ccd.ninjal.ac.jp/

（参考）国語研オープンハウス2020　https://www2.ninjal.ac.jp/openhouse2020/
- 動画「日本語歴史コーパス」の紹介 https://youtu.be/tKvVR2K2h2E

授業内容等の確認†

シラバスの確認
- この授業の目的
- 授業の進め方
- 評価方法

受講者アンケート
- 関心のある分野について
- PC等のスキルについて

「中納言」アカウントについて†

「授業アカウント」について
「中納言」オンライン利用申込み
- https://chunagon.ninjal.ac.jp/useraccount/register

授業で利用する主なソフトウェア・Webアプリケーション（予定）†

ソフトウェアの種類・名前	利用目的
コーパス検索アプリケーション「中納言」	コーパスの検索
表計算ソフトExcel	ピボットテーブルによる分析・グラフ作成
Web茶まめ	形態素解析
テキストエディタサクラエディタ	正規表現を使ったテキストの検索・整形
ワープロWord	「スタイル」を利用したレポート作成
全文検索ソフトひまわり	データの検索,ミニコーパスの作成
R	データの統計分析

授業内容デモ†

コーパスの利用
- 「現代日本語書き言葉均衡コーパス（BCCWJ）」
  - 梵天（BCCWJ文字列検索）
  - 中納言
- 「日本語歴史コーパス（CHJ）」
Excelによる集計（ピボットテーブル）
形態素解析
- Web茶まめ
テキストエディタとgrep
全文検索システムひまわり
R