成蹊2014
- 後期・金曜2限
- ogiso@ogiso.net ←@を@に直してください
2014/10/24
「中納言」の利用:形態論情報を使った検索
検索結果のダウンロードと集計
2014/10/24
「中納言」利用申込み
「中納言」の利用:形態論情報を使った検索
- 配布資料「『中納言』の使い方」
- 1.3つの検索方法 ~ 2.7検索にあたっての注意点 まで
- 配布資料は次回以降も使いますので必ず持ってきてください。
2014/10/10
「中納言」利用申込み
- 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。
コーパスの形態論情報
短単位と長単位
品詞体系
UniDicの品詞体系
品詞分類
活用型
活用形
学校文法との主な違い
- 品詞
- 名詞-普通名詞-一般(大分類>中分類>小分類) のように階層化されている
- 名詞-普通名詞-サ変可能 のように可能性に基づく品詞付与がなされている
- 「形状詞」という品詞を立てている(=形容動詞語幹) 例:「奇麗」「愉快」
- 活用型
- 下一段-ア行(大分類>行分類(>小分類)) のように階層化されている
- 五段-カ行-イク のように実際の活用にあわせてより細かく分類されている*1
- 漢語サ変動詞を名詞(語幹)と動詞(「する」)に分割(学校文法では全体で1語の動詞として扱う) 例:「研究|する」
- 動詞に助動詞「う」が付いた形を動詞の意志推量形(全体として1語)として扱う 例:「飲もう」
UniDic見出し語の階層構造
見出し語の階層構造
- 語彙素:辞書の見出しのレベル
- 語形:異語形を区別するレベル
- 書字形:異表記を区別するレベル
各レベルが持つ情報*2
- 語彙素レベル(語彙素・語彙素読み・語彙素細分類・語種)
- 語形レベル(語形・品詞・活用型・活用形)
- 書字形レベル(書字形・仮名形)
- 発音形レベル(発音形・アクセント)
※語彙素読み・語形・発音形はカタカナ表記。語彙素は漢字を多用した「代表表記」。
基本形と出現形
語形以下のレベルでは、基本形(辞書見出し形=終止形)と出現形(実際の活用形)の別があり、活用語では違う形になる
例:アザラシが泳ぎます
- 語彙素レベル:(語彙素)泳ぐ (語彙素読み)オヨグ
- 語形レベル:(語形(基本形))オヨグ,(語形出現形*3)オヨギ
- 書字形レベル:(書字形(基本形))泳ぐ,(書字形出現形)泳ぎ
- 発音形レベル:(発音形(基本形))オヨグ,(発音形出現形)オヨギ
見出し語の例とBCCWJ中の用例数
- 語彙素:矢張り(ヤハリ) 32887
- 語形:ヤハリ:19876
- 書字形:やはり:19781
- 書字形:ヤハリ:0
- 書字形:矢張り:93
- 書字形:矢張:2
- 語形:ヤッパリ:11373
- 書字形:やっぱり:11296
- 書字形:ヤッパリ:36
- 書字形:やつぱり:23
- 書字形:やッぱり:2
- 書字形:矢っ張:1
- 書字形:矢つ張:1
- 書字形:矢ッ張り:4
- 書字形:矢っ張り:5
- 書字形:矢つ張り:5
- 語形:ヤッパシ:96
- 語形:ヤッパ:1506
- 語形:ヤパ:35
- 語形:ヤパリ:1
形態論情報を活かした検索
2014/10/03
「中納言」利用申込み
- 申込用紙を回収します。
- 提出した人には仮アカウントを発給しました。メールを確認して本登録を行ってください。
日本語コーパスの紹介(2) コーパスの設計とサンプリング
- (スライド参照) 第2回コーパスの設計とサンプリング
- 均衡コーパス(Balanced corpus)
- 「バランスがとれている」とは?
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題
参考リンク
- 英語のコーパス リファレンス
- 現代日本語書き言葉均衡コーパス(BCCWJ)
2014/9/26
「中納言」利用申込み
- 申込用紙を配布します。押印して次回、必ず持ってきてください。
現代日本語書き言葉均衡コーパス(BCCWJ)とは
- BCCWJについて、まず最小限のことを説明します。
日本語コーパスの紹介(1)コーパスとはどんなものか
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス(BCCWJ)」
- 日本語コーパス以前のデータとBCCWJの違いは
2014/09/19
イントロダクション