FrontPage
言語学特殊講義XI/コーパス日本語学†
- Zoomによるリアルタイムのオンライン授業形式で行います。ZoomのURLはITC-LMSのページで確認してください。
4月23日(第3回) コーパスの設計(2)†
前回続き(スライド残り)†
「日本語歴史コーパス」(CHJ)の構成†
- 残された資料に限りがある(そもそも偏りがある)歴史的なコーパスの場合、現代語コーパス同様の「代表性」を求めることは困難
- 近世以前
- 残されている資料が少なく、できるだけ(可能なら全部)コーパスに入れたい
- 近世(後期)以降
- 偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい(作品など資料単位で調査したい)
- 『日本語歴史コーパス』の中身
- 中世以前は重要な資料をまるごと対象に
- 近世の洒落本・人情本:年代・著者(・地域)のバランスを取って作品単位でサンプリング
近代語コーパスの場合†
- 近代雑誌(現在はCHJの一部)
- 多様な記事を含む「総合雑誌」を対象とすることでバランスを確保
- 発行年での大まかなサンプリング
- その後の雑誌コーパスも8年おきに収録
- 明六雑誌・東洋学芸雑誌・国民之友・太陽(・中央公論・文藝春秋)
- 近代小説
※今日の夕方に公開予定
利用する側から見たコーパスの設計†
- BCCWJでもCHJでも、どのように設計されているかを知らないと大きな誤りを犯す可能性がある
- サブコーパスのサイズを無視した比較
- バランスのとれていない項目間の単純比較(BCCWJの年代、CHJの時代・ジャンル等)
紙の資料からコーパスまで ~テキストの電子化とアノテーションの高度化†
- (紙の)本文
- (紙の)総索引(コンコーダンス)
- 電子テキスト:テキスト (199x年代~)
- 構造化テキスト:テキスト+XMLによる構造化タグ (200x年代~)
- 単語情報付きのコーパス:テキスト+XMLによる構造化タグ+形態論情報 (201x年代~)
電子化とアノテーション(明六雑誌コーパスを例に)†
- ファイル形式と実例
- 電子テキスト:プレーンテキスト
- 構造化テキスト:XMLファイル
- 単語情報付きデータ:単語情報を埋め込んだXML /XMLファイル+CSVファイル →RDB
- それぞれの利用アプリケーション
- 電子テキスト:テキストエディタ+grepなど
- 構造化テキスト:全文検索システム「ひまわり」
- 単語情報付きデータ:中納言(オンライン)/Chaki.Net(PC上)
4月16日(第2回) コーパスの設計†
※以下、スライド(学部授業用)(大学院授業用・同内容)も参照
コーパスとは†
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
- さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
- Web上のデータ
- 検索サイトの利用
- WAC(Web as Corpus)
- 言語学分野では前者、自然言語処理分野などでは後者の意味で使いがち。
- この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス(BCCWJ)」と「日本語歴史コーパス(CHJ)」
コーパスに求められるもの†
- コーパス以前の電子化日本語資料(とその限界)
- 個人研究者による電子化テキスト
- 出版社による電子出版物(CD-ROM)
- 新聞のデータベース(CD-ROM)
- Web上のテキストアーカイブ
- Webそのもの
- (現代語)コーパスへの要請
- 大規模であること
- 各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
- 著作権の問題がないこと
- 言語研究に利用できる情報がついていること
「現代日本語書き言葉均衡コーパス」(BCCWJ)の構成とサンプリング†
- 均衡コーパス(Balanced corpus)
- 「バランスがとれている」「代表性がある(representative)」とは?
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題★次回、ここから
参考リンク†
- 英語のコーパス リファレンス
- 現代日本語書き言葉均衡コーパス(BCCWJ)
4月9日(第1回)イントロダクション/日本語コーパスの紹介†
イントロダクション†
授業内容等の確認†
「中納言」アカウントについて†
- 「授業アカウント」について
- 「中納言」オンライン利用申込み
授業で利用する主なソフトウェア・Webアプリケーション(予定)†
授業内容デモ†
- コーパスの利用
- Excelによる集計(ピボットテーブル)
- 形態素解析
- テキストエディタとgrep
- 全文検索システムひまわり
- R