上智2016/国語学演習IIIa の履歴(No.24)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 上智2016/国語学演習IIIa へ行く。
  • 1 (2016-04-14 (木) 18:08:13)
  • 2 (2016-04-15 (金) 03:24:54)
  • 3 (2016-04-22 (金) 05:16:30)
  • 4 (2016-04-22 (金) 14:41:22)
  • 5 (2016-04-22 (金) 14:41:22)
  • 6 (2016-04-29 (金) 09:19:13)
  • 7 (2016-04-29 (金) 16:48:04)
  • 8 (2016-05-05 (木) 21:17:48)
  • 9 (2016-05-06 (金) 16:02:47)
  • 10 (2016-05-13 (金) 14:19:40)
  • 11 (2016-05-13 (金) 15:17:40)
  • 12 (2016-05-19 (木) 19:42:19)
  • 13 (2016-05-20 (金) 14:55:11)
  • 14 (2016-05-26 (木) 17:44:54)
  • 15 (2016-05-27 (金) 03:39:57)
  • 16 (2016-05-27 (金) 13:16:48)
  • 17 (2016-05-27 (金) 13:16:48)
  • 18 (2016-06-03 (金) 09:06:47)
  • 19 (2016-06-03 (金) 09:06:47)
  • 20 (2016-06-10 (金) 16:00:16)
  • 21 (2016-06-10 (金) 16:50:14)
  • 22 (2016-06-10 (金) 16:50:14)
  • 23 (2016-06-16 (木) 22:10:12)
  • 24 (2016-06-17 (金) 09:18:01)
  • 25 (2016-06-17 (金) 15:03:31)
  • 26 (2016-06-23 (木) 16:10:22)
  • 27 (2016-06-24 (金) 09:11:31)
  • 28 (2016-06-24 (金) 12:27:03)
  • 29 (2016-07-01 (金) 15:01:07)
  • 30 (2016-07-07 (木) 17:11:46)
  • 31 (2016-07-08 (金) 07:32:30)
  • 32 (2016-07-08 (金) 14:43:31)

---

上智2016

コーパス日本語学入門（近現代語コーパス）

• 前期・金曜4限
• ogiso＠ogiso.net　←＠を@に直してください

• 中納言 https://chunagon.ninjal.ac.jp/

2016/06/17

レポートテーマについて

調整頻度の計算（前回補足）

• ＣＨＪ語彙統計

ランダムサンプリング調査

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

重複の削除

• 用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合
• 「データ」→「重複の削除」

関数の利用

• 文字列処理関数
  • 例： =left(<文字列>,<文字数>)

• 集計用に用意した列で文字列処理関数を利用する
  • LEFT,RIGHT,MID,LEN,SEARCH,SUBSTITUTE

• 応用例：品詞の大分類を使う
  • =IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)

コロケーション強度の話

【参考資料】助動詞と上接動詞のコロケーション

• 共起する語を評価するとき、単純な用例数では危険
  • もともと頻度が高いもの同士のつながりは多くて当たり前

• コロケーション強度には様々なものがある
  • ダイス係数
  • Tスコア
  • MIスコア（相互情報量）

• ダイス係数＝2×（ABの用例数／（Aの用例数＋Bの用例数））　
  • 「つ」の前の動詞の場合
    • AB＝ 「動詞＋つ」の用例数
    • A＝当該動詞の用例数
    • B＝「つ」の用例数

• ｔスコア＝（ABの用例数 - Aの用例数×Bの用例数／コーパスの総語数）／√ABの用例数

• MIスコア（相互情報量）＝log[2]ABの用例数×コーパスの総語数／Aの用例数×Bの用例数

2016/06/10

近代雑誌コーパスについて

• 国立国語研究所編（2005）『雑誌『太陽』による確立期現代語の研究―『太陽コーパス』研究論文集』博文館新社 #amazon(4861151554)
• 田中牧郎（2013）『近代書き言葉はこうしてできた』岩波書店 #amazon(4000286269)

日本語歴史コーパス「中納言」補足

• 地の文・会話文、発話者
  • 例：「いと」「甚だ」
    • ito-hanahada.zip

      キー: (語彙素="いと" OR 語彙素="甚だ")  WITH OPTIONS limitToSelfSentence="1" AND tglWords="20" AND unit="1"

• インラインタグ
  • Excelのフィルタ機能による活用

調整頻度の計算

• 粗頻度を総語数で割る
  • レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
    • 語数ファイルをピボットテーブルで集計して分母に

• 調整頻度には100万語あたりの頻度が比較的よく使われる
  • 粗頻度/総語数*1000000
    • 数字が小さくなりすぎないようにするため

• ※割合の違いを比較するだけなら調整頻度を出す必要はない。

レポートテーマについて

• レポートテーマについて全員に聞き、コメントします。テーマを考えておいてください。

2016/06/03

『日本語歴史コーパス』

• 平安時代編
• 鎌倉時代編Ⅰ説話・随筆
• 室町時代編Ⅰ狂言
• 明治・大正編Ⅰ雑誌
  • 「明六雑誌」（全）、「国民之友」（一部）、女性雑誌（「女学雑誌」「女学世界」「婦人倶楽部」の一部）、「太陽」（一部） http://pj.ninjal.ac.jp/corpus_center/chj/

集計ためののテクニック

• 分類用の列を作って集計する
  • 十分で用法区分などを入力しピボットテーブルで使う
• 複数の検索結果をまとめる
  • 一つの表に貼り付けて集計する

• ショートカットキーを活用すると便利
  • Ctrl+End　ファイルの末尾/表のいちばん右下に移動
  • Shift+Ctrl+End　〃範囲を選択

1. 表をコピー
   • Ctrl+Home, ↓（列名はコピーしないようにする）,Shift+Ctrl+End, Ctrl+C
2. コピーした表を既存の表の下に貼り付け
   • Ctrl+End, Home, ↓, Ctrl+V, Ctrl+Home

2016/05/27

(復習)【重要】ピボットテーブルの使い方

• ピボットテーブル
• ピボットグラフ

テキストエディタとショートカットキー

• 授業資料/テキストエディタ
  • ★サクラエディタのダウンロード:sakura2.zip
    • (参考) サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/
  • テキストデータサンプル（青空文庫より夏目漱石）
    • soseki2.zip

• zipファイルの展開（解凍）について
  • ダウンロードしたファイルのプロパティを見てセキュリティブロックを解除する
  • 解凍しないままでも開けるが必ず解凍すること

• ショートカットキー
  • 授業資料/覚えておきたいショートカットキー

2016/05/20

「中納言」の利用（つづき）

• 資料「中納言の使い方」参照

検索条件式の利用

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

「中納言」検索結果のダウンロードとExcelでの利用

1. ダウンロード
2. アーカイブの展開（解凍）
3. Excelでインポート

Excelの基礎

• 並べ替え
  • 反転前文脈の使い方
• フィルタ
  • テキストフィルタ

【重要】ピボットテーブルの使い方

• ピボットテーブル
• ピボットグラフ

2016/05/13

• 資料「中納言の使い方」参照

形態論情報を利用した検索

• 授業資料/UniDicの見出し語階層

UniDicによる形態素解析

• MeCab（解析器）とUniDic（辞書）
• 現代語用のUniDic形態素解析辞書UniDic
• Web茶まめ　http://chamame.ninjal.ac.jp/

2016/05/06

• 「中納言」の登録について
  • ユーザー登録の申請（new!）　https://chunagon.ninjal.ac.jp/useraccount/register

日本語コーパスの形態論情報

• 短単位と長単位（前回資料）

品詞体系と見出し語の階層

• BCCWJ,CHJはUniDicの品詞体系にもとづく

• 授業資料/UniDicの品詞体系
• 授業資料/UniDicの見出し語階層

2016/04/29（祝日授業実施日）

日本語コーパスの紹介（2） コーパスの設計とサンプリング

• （スライド参照）
  • 第3回コーパスの設計とサンプリング

• 均衡コーパス（Balanced corpus）
  • 「バランスがとれている」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題

参考リンク

• 英語のコーパス リファレンス
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
• 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 現代日本語書き言葉均衡コーパス：概要
  • 現代日本語書き言葉均衡コーパス：サンプリング

日本語コーパスの形態論情報

• 短単位と長単位
  • （配付資料）参照

2016/04/22

コーパス検索アプリケーション「中納言」の申込みについて（来週以降）

• ショートメッセージ（SMS）が受け取れる携帯電話

現代日本語書き言葉均衡コーパス（BCCWJ）とは

• BCCWJについて、まず最小限のことを説明します。

• BCCWJ少納言
  • 登録不要
  • 文字列検索のみ
  • 500例まで表示
• BCCWJ中納言
  • 要登録
  • 形態論情報を使った検索
  • 全件（一度に最大10万例まで）ダウンロード可

日本語コーパスの紹介（1）コーパスとはどんなものか

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

• この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」
• 「コーパス」以前の日本語研究用データとの違いは

• （スライド参照）
  • 第2回コーパスとは

2016/04/16

イントロダクション

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
• コーパスとは
  • 国立国語研究所コーパス開発センター
  • 形態素解析辞書UniDic

• デモ
• 「現代日本語書き言葉均衡コーパス（BCCWJ）」
• 「日本語歴史コーパス（CHJ）」
  • BCCWJ少納言
  • 中納言
• Excelによる集計（ピボットテーブル）
• 形態素解析
  • Web茶まめ

• シラバス確認
  • シラバス
  • この授業の目的
  • 授業の進め方
  • 評価方法