上智2014
コーパス日本語学入門
- 前期・金曜4限
- ogiso＠ogiso.net ←＠を@に直してください
2014/5/9
「中納言」利用申込み
- 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。
コーパスの形態論情報
短単位と長単位
品詞体系
UniDicの品詞体系
品詞分類
活用型
活用形
学校文法との主な違い
- 品詞
- 名詞-普通名詞-一般（大分類＞中分類＞小分類） のように階層化されている
- 名詞-普通名詞-サ変可能 のように可能性に基づく品詞付与がなされている
- 「形状詞」という品詞を立てている（＝形容動詞語幹） 例：「奇麗」「愉快」
- 活用型
- 下一段-ア行（大分類＞行分類（＞小分類）） のように階層化されている
- 五段-カ行-イク のように実際の活用にあわせてより細かく分類されている*1
- 漢語サ変動詞を名詞（語幹）と動詞（「する」）に分割（学校文法では全体で1語の動詞として扱う） 例：「研究|する」
- 動詞に助動詞「う」が付いた形を動詞の意志推量形（全体として1語）として扱う 例：「飲もう」
#include(): No such page: 授業資料/UniDicの階層構造
形態論情報を活かした検索
2014/5/2
「中納言」利用申込み
- 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。
日本語コーパスの紹介（2） コーパスの設計とサンプリング
- 均衡コーパス（Balanced corpus）
- 「バランスがとれている」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題
参考リンク
- 英語のコーパス リファレンス
- 現代日本語書き言葉均衡コーパス（BCCWJ）
2014/4/25
「中納言」利用申込み
- 申込用紙を配布します。押印して次回、必ず持ってきてください。
現代日本語書き言葉均衡コーパス（BCCWJ）とは
- BCCWJについて、まず最小限のことを説明します。
日本語コーパスの紹介（1）コーパスとはどんなものか
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
- 日本語コーパス以前のデータとBCCWJの違いは
2014/04/18
イントロダクション
- デモ
- 「現代日本語書き言葉均衡コーパス（BCCWJ）」
- Excelによる集計（ピボットテーブル）
- 形態素解析：茶まめ／MeCab+UniDic
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
