成蹊2013/日本語学講義F の履歴(No.13)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 成蹊2013/日本語学講義F へ行く。
  • 1 (2013-09-27 (金) 12:44:57)
  • 2 (2013-09-27 (金) 12:47:05)
  • 3 (2013-10-04 (金) 11:51:21)
  • 4 (2013-10-11 (金) 00:01:31)
  • 5 (2013-10-25 (金) 12:12:04)
  • 6 (2013-11-01 (金) 10:31:40)
  • 7 (2013-11-01 (金) 15:42:04)
  • 8 (2013-11-07 (木) 17:58:01)
  • 9 (2013-11-08 (金) 14:58:17)
  • 10 (2013-11-21 (木) 10:23:12)
  • 11 (2013-11-21 (木) 14:47:05)
  • 12 (2013-11-22 (金) 14:51:13)
  • 13 (2013-11-29 (金) 05:40:44)
  • 14 (2013-11-29 (金) 15:04:03)
  • 15 (2013-11-29 (金) 16:13:38)
  • 16 (2013-12-01 (日) 06:25:32)
  • 17 (2013-12-05 (木) 18:33:20)
  • 18 (2013-12-09 (月) 22:07:32)
  • 19 (2013-12-11 (水) 16:43:05)
  • 20 (2013-12-13 (金) 11:23:49)
  • 21 (2013-12-13 (金) 14:54:11)
  • 22 (2014-01-09 (木) 15:22:15)
  • 23 (2014-01-10 (金) 14:59:48)

---

成蹊2013

• 日本語・日本文学を学んでいくうえでぜひ身につけておきたいコンピュータに関する知識・技術を学びます。
• 後期・金曜4限
• ogiso＠ogiso.net　←＠を@に直してください

• BCCWJ中納言
• Web Collaborartion System

2013/11/29

検索の例つづき

• 「検索課題」配付資料参照

BCCWJ利用の落とし穴

• BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
  • レジスターによって母集団の年が違っている
    • レジスターの偏りを年代の偏りと勘違いしないこと
  • 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ

• もともとテキスト量の多いジャンルにたくさん用例があるからといって「そのジャンルでよく使われる」とはいえない→調整頻度の計算
  • cf.人口あたりの事故件数，１平方キロあたりの…etc.

調整頻度の計算

• 粗頻度を総語数で割る
  • レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
    • 語数ファイルをピボットテーブルで集計して分母に

• 調整頻度には100万語あたりの頻度が比較的よく使われる
  • 粗頻度/総語数*1000000
    • 数字が小さくなりすぎないようにするため

レポートテーマについて

• 次回までにレポートテーマを考えてくること（全員に聞きます）

• 普段から見聞きする言葉に気をつけるとともに、図書館も活用すること
• ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく

表記

• 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
• 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？文体差？
• 「斡旋」「あっ旋」「あっせん」、「石鹸」[石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ

類義語・対義語

• 「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い）
• 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
• 「男性」と「女性」（「男」と「女」）・・・語彙の非対称性

語形、語法

• 「好ましい」「好もしい」・・・語形の揺れと文体差
• 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件

新語・意味変化

• 「断トツ」「定番」「夜ご飯」・・・新語の広がり
• 「役不足」「確信犯」・・・”誤用”と”正用”

形態素解析とその仕組み

• 授業資料/形態素解析
• UniDicと茶まめデモ

2013/11/22

復習

1. 「中納言」による検索
2. Excelでインポート
3. ピボットテーブルで集計

Excelの基礎

• 並べ替え
  • 反転前文脈の使い方
• フィルタ
  • テキストフィルタ

検索の例

• 「検索課題」配付資料参照

補足

• 連体修飾（である可能性が高いもの）の検索と集計
• ジップの法則

2013/11/08

• 資料「『中納言』概説・実習」つづき

検索条件式

キー: 語彙素 = "奇麗" IN core="true" WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"

検索結果をExcelで利用する

• 前回資料（4.）参照

「中納言」検索結果のダウンロードとExcelでの利用

1. ダウンロード
2. アーカイブの展開（解凍）
3. Excelでインポート

【重要】ピボットテーブルの使い方

• ピボットテーブル
• ピボットグラフ

2013/11/01

コーパスの形態論情報

• UniDicの品詞体系
• UniDicマニュアル

学校文法との違い

• 品詞：名詞-普通名詞-一般　（大分類＞中分類＞小分類）
• 活用型：下一段-ア行　（大分類＞行分類（＞小分類））
• 可能性に基づく品詞
  • 名詞-普通名詞-サ変可能
• 形状詞　（＝形容動詞語幹）
• 助動詞「う」が付いた形を意志推量形として扱う
• 漢語サ変動詞を名詞（語幹）と動詞（「する」）に分割

見出し語の階層構造

• 語彙素（語彙素読み）
  • 語形
    • 書字形

• 矢張り（ヤハリ） 32887
  • ヤハリ 19876
    • やはり 19781
    • ヤハリ 0
    • 矢張り 93
  • ヤッパリ
    • やっぱり
    • ヤッパリ
  • ヤッパシ
    • やっぱし
    • ヤッパシ
  • ヤッパ
    • やっぱ
    • ヤッパ

形態論情報を活かした検索

• 資料「『中納言』概説・実習」（2.）参照

2013/10/25

• 「中納言」契約書を1部返却します。

日本語コーパスの紹介（2） コーパスの設計とサンプリング

• （スライド参照）
  • 「バランスがとれている」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題

• 参考リンク
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/

• 現代日本語書き言葉均衡コーパスの基本方針
• 現代日本語書き言葉均衡コーパスのためのサンプル抽出

2013/10/11

日本語コーパスの紹介（1）コーパスとはどんなものか

• （スライド参照）

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

• この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
  • もうひとつの授業「日本語日本文学のためのコンピュータ」で扱っているデータは後者

• 日本語コーパス以前のデータとBCCWJの違いは

2013/10/04

「中納言」利用申込み

• 申込用紙を配布します。押印して次回、必ず持ってきてください。

現代日本語書き言葉均衡コーパス（BCCWJ）とは

• BCCWJについて、まず最小限のことを説明します。
  • 来週以降、詳しく説明します。

• BCCWJ少納言
  • 登録不要
  • 文字列検索のみ
  • 500例まで表示
• BCCWJ中納言
  • 要登録
  • 形態論情報を使った検索
  • 全件（一度に最大10万例まで）ダウンロード可

「中納言」を使ってみる

• 詳しい説明を後回しにして、とにかく「中納言」を使ってみましょう。
• ログイン方法、インターフェイスの使い方を確認してください。

• 配付資料「中納言の使い方」参照

2013/09/27

イントロダクション

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
• コーパスとは
  • 国立国語研究所コーパス開発センター
  • 形態素解析辞書UniDic

• デモ
  • BCCWJ少納言
  • BCCWJ中納言

• シラバス確認
  • シラバス
  • この授業の目的
  • 授業の進め方
  • 評価方法