上智2016
コーパス日本語学入門（近現代語コーパス）
- 前期・金曜4限
- ogiso＠ogiso.net ←＠を@に直してください
2016/05/13
形態論情報を利用した検索
UniDic見出し語の階層構造
見出し語の階層構造
- 語彙素：辞書の見出しのレベル
- 語形：異語形を区別するレベル
- 書字形：異表記を区別するレベル
各レベルが持つ情報*1
- 語彙素レベル（語彙素・語彙素読み・語彙素細分類・語種）
- 語形レベル（語形・品詞・活用型・活用形）
- 書字形レベル（書字形・仮名形）
- 発音形レベル（発音形・アクセント）
※語彙素読み・語形・発音形はカタカナ表記。語彙素は漢字を多用した「代表表記」。
基本形と出現形
語形以下のレベルでは、基本形（辞書見出し形＝終止形）と出現形（実際の活用形）の別があり、活用語では違う形になる
例：アザラシが泳ぎます
- 語彙素レベル：（語彙素）泳ぐ （語彙素読み）オヨグ
- 語形レベル：（語形(基本形)）オヨグ，（語形出現形*2）オヨギ
- 書字形レベル：（書字形(基本形)）泳ぐ，（書字形出現形）泳ぎ
- 発音形レベル：（発音形(基本形)）オヨグ，（発音形出現形）オヨギ
見出し語の例とBCCWJ中の用例数
- 語彙素：矢張り（ヤハリ） 32887
- 語形：ヤハリ：19876
- 書字形：やはり：19781
- 書字形：ヤハリ：0
- 書字形：矢張り：93
- 書字形：矢張：2
- 語形：ヤッパリ：11373
- 書字形：やっぱり：11296
- 書字形：ヤッパリ：36
- 書字形：やつぱり：23
- 書字形：やッぱり：2
- 書字形：矢っ張：1
- 書字形：矢つ張：1
- 書字形：矢ッ張り：4
- 書字形：矢っ張り：5
- 書字形：矢つ張り：5
- 語形：ヤッパシ：96
- 語形：ヤッパ：1506
- 語形：ヤパ：35
- 語形：ヤパリ：1
UniDicによる形態素解析
2016/05/06
日本語コーパスの形態論情報
品詞体系と見出し語の階層
- BCCWJ,CHJはUniDicの品詞体系にもとづく
2016/04/29（祝日授業実施日）
日本語コーパスの紹介（2） コーパスの設計とサンプリング
- 均衡コーパス（Balanced corpus）
- 「バランスがとれている」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題
参考リンク
- 英語のコーパス リファレンス
- 現代日本語書き言葉均衡コーパス（BCCWJ）
日本語コーパスの形態論情報
2016/04/22
コーパス検索アプリケーション「中納言」の申込みについて（来週以降）
現代日本語書き言葉均衡コーパス（BCCWJ）とは
- BCCWJについて、まず最小限のことを説明します。
日本語コーパスの紹介（1）コーパスとはどんなものか
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」
- 「コーパス」以前の日本語研究用データとの違いは
2016/04/16
イントロダクション
- デモ
- 「現代日本語書き言葉均衡コーパス（BCCWJ）」
- 「日本語歴史コーパス（CHJ）」
- Excelによる集計（ピボットテーブル）
- 形態素解析
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
