東京外大2017/JapanStudies1 の履歴(No.24)

ダイス係数
- ＝2×（ABの用例数／（Aの用例数＋Bの用例数））　
  - =2*B5/(C$2+C5)
tスコア
- ＝（ABの用例数 - （Aの用例数×Bの用例数／コーパスの総語数））／√ABの用例数
  - =B5-(C$2*C5/C$1)/SQRT(B5)
MIスコア（相互情報量）
- ＝log[2] (ABの用例数×コーパスの総語数)／(Aの用例数×Bの用例数)
  - =LOG((B5*C$1)/(C$2*C5),2)

（例）

例：「玉葱」と共起する（3語以内）動詞の場合
- AB＝「玉葱」～「炒める」の用例数：46
- A＝「炒める」の用例数：2069
- B＝「玉葱」の用例数：2087
- ダイス係数=2*(46/(2069+2087))=0.0221

サンプルデータ collocation.xlsx

それぞれの数値の調べ方

※用例数を求めるだけでいいが、「中納言」は用例を取得するためのツールであるため、複数の語の用例数を求めるのに手間がかかる
- BCCWJの語彙表を使えば個々の語の検索は不要 http://pj.ninjal.ac.jp/corpus_center/bccwj/freq-list.html
- 検索する場合は、語彙リストをエディタで整形し、検索条件式で一括検索する方法もある
「コーパスの総語数」は「語数について」のページを参照

【参考資料】助動詞と上接動詞のコロケーション

↑

2017/06/22

↑

ランダムサンプリング調査(Excelでの集計・補足)

大量に用例があり、調査内容からすべて対象にできない場合
ランダムに並べ替え→先頭n例を調査対象に
- ランダムな数字の列： =RAND()
- ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

↑

出現サンプル数の調査（重複の削除）

用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合
- たとえば一人称代名詞など、サンプル毎に偏って多数現れる語の調査
- 「データ」→「重複の削除」

↑

VLOOKUPの利用

自作の辞書テーブルのようなものを使って用例を集計する
VLOOKUP関数

VLOOKUPを使った調整頻度の計算

↑

【補足】Excelの文字列関数で前後文脈を整える

後文脈の「#」より後を消す（「#」がない場合はそのまま）

=IF(ISERROR(SEARCH("#",<後文脈>)),<後文脈>,LEFT(<後文脈>,SEARCH("#",<後文脈>)))

前文脈の「#」以前を消す（「#」がない場合はそのまま）*1

=RIGHT(<前文脈>,LEN(<前文脈>)-(FIND("~",SUBSTITUTE("#"&<前文脈>,"#","~",LEN("#"&<前文脈>)-LEN(SUBSTITUTE("#"&<前文脈>,"#",""))),1)-1))

↑

中納言状での他のコーパスの利用

日本語歴史コーパス CHJ
日本語話し言葉コーパス CSJ
多言語母語の日本語学習者横断コーパス I-JAS
名大会話コーパス

↑

2017/06/15

↑

Excelの文字列関数とIF関数

例：ジャンル（NDC）の整理
- 先頭の文字を取り出す（NDCの一次区分（＝類））
  - =LEFT(<ジャンルのセル>,1)
- スラッシュで区切られた最初の部分（ジャンルの大分類）
  - =LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)

集計用に用意した列で文字列処理関数を利用する
- LEFT
- RIGHT
- MID
- LEN
- SEARCH
- SUBSTITUTE

条件わけ：IF

エラー対応：IFERROR

応用例：品詞の大分類を使う
- =IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)

↑

BCCWJ利用の落とし穴

BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
- レジスターによって母集団の年が違っている
  - レジスターの偏りを年代の偏りと勘違いしないこと
- 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ

もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
- cf.人口あたりの事故件数，１平方キロあたりの…etc.

↑

調整頻度の計算

粗頻度を総語数で割る
- レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
  - 語数ファイルをピボットテーブルで集計して分母に

調整頻度には100万語あたりの頻度（pmw）がよく使われる
- 粗頻度/総語数*1000000
  - 数字が小さくなりすぎないようにするため

※割合の違いを比較するだけなら調整頻度を出す必要はない。

↑

2017/06/08

（配布資料）「中納言」検索課題
- 定型表現の揺れ
- 表記（交ぜ書き・拡張新字体・印刷標準字体）
- 語彙（抽象概念の尺度となる形容詞）
- 文法（格助詞の選択）

↑

複数の検索結果の結合

例：蒲公英・向日葵・菫

ショートカットキーを活用すると便利

Ctrl+End　ファイルの末尾/表のいちばん右下に移動
Shift+Ctrl+End　〃範囲を選択

表をコピー
- Ctrl+Home, ↓（列名はコピーしないようにする）,Shift+Ctrl+End, Ctrl+C
コピーした表を既存の表の下に貼り付け
- Ctrl+End, Home, ↓, Ctrl+V, Ctrl+Home

↑

集計用の列を自分で用意する

例：表記（ひらがな・かたかな・漢字）別集計
例：用法分類

↑

2017/06/01

↑

質問対応

自分の研究テーマのための検索方法の相談

↑

「中納言」検索結果のダウンロードとExcelでの利用（復習）

ダウンロード
アーカイブの展開（解凍）
Excelでインポート

↑

Excelの基礎

並べ替え
- 反転前文脈の使い方
フィルタ
- テキストフィルタ

↑

【重要】ピボットテーブルの使い方

ピボットテーブル
ピボットグラフ

↑

複数の検索結果の結合

例：蒲公英・向日葵・菫

ショートカットキーを活用すると便利

Ctrl+End　ファイルの末尾/表のいちばん右下に移動
Shift+Ctrl+End　〃範囲を選択

表をコピー
- Ctrl+Home, ↓（列名はコピーしないようにする）,Shift+Ctrl+End, Ctrl+C
コピーした表を既存の表の下に貼り付け
- Ctrl+End, Home, ↓, Ctrl+V, Ctrl+Home

↑

集計用の列を自分で用意する

例：表記（ひらがな・かたかな・漢字）別集計
例：用法分類

↑

2017/05/25

↑

質問対応

自分の研究テーマのための検索方法の相談

↑

(復習)形態論情報を使った検索

資料「中納言の使い方」参照

↑

検索条件式の利用

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

↑