上智2014/国語学演習Ia の履歴(No.10) - OGI-Wiki

コーパス日本語学入門

前期・金曜4限
ogiso＠ogiso.net　←＠を@に直してください

2014/5/9

コーパスの形態論情報

UniDicの品詞体系
UniDicマニュアル

学校文法との違い

品詞：名詞-普通名詞-一般　（大分類＞中分類＞小分類）
活用型：下一段-ア行　（大分類＞行分類（＞小分類））
可能性に基づく品詞
- 名詞-普通名詞-サ変可能
形状詞　（＝形容動詞語幹）
助動詞「う」が付いた形を意志推量形として扱う
漢語サ変動詞を名詞（語幹）と動詞（「する」）に分割

見出し語の階層構造

語彙素（語彙素読み）
- 語形
  - 書字形

矢張り（ヤハリ） 32887
- ヤハリ 19876
  - やはり 19781
  - ヤハリ 0
  - 矢張り 93
- ヤッパリ
  - やっぱり
  - ヤッパリ
- ヤッパシ
  - やっぱし
  - ヤッパシ
- ヤッパ
  - やっぱ
  - ヤッパ

形態論情報を活かした検索

資料「『中納言』概説・実習」（2.）参照

2014/5/2

「中納言」利用申込み

先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

日本語コーパスの紹介（2）コーパスの設計とサンプリング

（スライド参照）
- 第2回コーパスの設計とサンプリング

均衡コーパス（Balanced corpus）
- 「バランスがとれている」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
著作権をめぐる問題

参考リンク

英語のコーパスリファレンス
- ブラウンコーパスマニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
- BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
現代日本語書き言葉均衡コーパス（BCCWJ）
- 現代日本語書き言葉均衡コーパス：概要
- 現代日本語書き言葉均衡コーパス：サンプリング

2014/4/25

「中納言」利用申込み

申込用紙を配布します。押印して次回、必ず持ってきてください。

現代日本語書き言葉均衡コーパス（BCCWJ）とは

BCCWJについて、まず最小限のことを説明します。

BCCWJ少納言
- 登録不要
- 文字列検索のみ
- 500例まで表示
BCCWJ中納言
- 要登録
- 形態論情報を使った検索
- 全件（一度に最大10万例まで）ダウンロード可

日本語コーパスの紹介（1）コーパスとはどんなものか

狭義のコーパス: 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
広義のコーパス: コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
日本語コーパス以前のデータとBCCWJの違いは

（スライド参照）
- 第2回コーパスとは

2014/04/18

イントロダクション

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 http://www.ninjal.ac.jp/
コーパスとは
- 国立国語研究所コーパス開発センター
- 形態素解析辞書UniDic

デモ
「現代日本語書き言葉均衡コーパス（BCCWJ）」
- BCCWJ少納言
- BCCWJ中納言
Excelによる集計（ピボットテーブル）
形態素解析：茶まめ／MeCab+UniDic

シラバス確認
- シラバス
- この授業の目的
- 授業の進め方
- 評価方法