上智2014/国語学演習Ia の履歴(No.28)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 上智2014/国語学演習Ia へ行く。
  • 1 (2014-04-18 (金) 02:41:15)
  • 2 (2014-04-18 (金) 03:35:12)
  • 3 (2014-04-18 (金) 08:53:14)
  • 4 (2014-04-23 (水) 23:56:01)
  • 5 (2014-04-24 (木) 22:49:12)
  • 6 (2014-04-25 (金) 07:30:13)
  • 7 (2014-04-25 (金) 15:35:25)
  • 8 (2014-05-01 (木) 14:08:51)
  • 9 (2014-05-02 (金) 08:57:03)
  • 10 (2014-05-08 (木) 14:01:10)
  • 11 (2014-05-09 (金) 03:50:20)
  • 12 (2014-05-09 (金) 08:06:06)
  • 13 (2014-05-09 (金) 18:21:00)
  • 14 (2014-05-15 (木) 15:25:36)
  • 15 (2014-05-19 (月) 13:02:07)
  • 16 (2014-05-22 (木) 17:20:08)
  • 17 (2014-05-23 (金) 12:20:32)
  • 18 (2014-05-29 (木) 16:45:12)
  • 19 (2014-05-30 (金) 08:31:12)
  • 20 (2014-06-06 (金) 06:17:34)
  • 21 (2014-06-06 (金) 14:40:24)
  • 22 (2014-06-07 (土) 14:12:16)
  • 23 (2014-06-12 (木) 14:56:45)
  • 24 (2014-06-13 (金) 02:29:13)
  • 25 (2014-06-13 (金) 14:55:48)
  • 26 (2014-06-20 (金) 07:36:15)
  • 27 (2014-06-20 (金) 14:49:56)
  • 28 (2014-06-27 (金) 06:49:19)
  • 29 (2014-07-04 (金) 07:51:24)
  • 30 (2014-07-05 (土) 19:39:43)

---

上智2014

コーパス日本語学入門

• 前期・金曜4限
• ogiso＠ogiso.net　←＠を@に直してください

• BCCWJ中納言 https://chunagon.ninjal.ac.jp/

2014/06/27

• レポートテーマについて

レポート作成のためのコーパス検索・調査（1）

考えてきたテーマについて、実際に用例を検索してレポート作成の準備を進めます。 積極的に質問して下さい。

• 授業中、1億語全体の検索は極力避けて下さい。

2014/06/20

レポートテーマ案提出

• BCCWJ中納言の契約書を返却します。
• レポートテーマの案を提出してください。

形態素解析

• リンク：形態素解析ウェブアプリUniDic-MeCab（複合名詞判定ver付き）

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*2
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

---

• 形態素解析器MeCab（Windows用）最新版　Download

授業用UniDic+MeCabパッケージのダウンロード

• https://dl.dropboxusercontent.com/u/134600/portable-unidic-mecab.zip

茶まめで形態素解析・Excelで集計

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

• テキストのジャンルと語種，品詞の割合をグラフ化してみる
  • ブログのテキストと新聞記事のテキストの解析結果を比較

2014/06/13

BCCWJ利用の落とし穴

• BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
  • レジスターによって母集団の年が違っている
    • レジスターの偏りを年代の偏りと勘違いしないこと
  • 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ

• もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
  • cf.人口あたりの事故件数，１平方キロあたりの…etc.

• データ：語彙素「矢張り」　kwic-yahari.zip

調整頻度の計算

• 粗頻度を総語数で割る
  • レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
    • 語数ファイルをピボットテーブルで集計して分母に

• 調整頻度には100万語あたりの頻度が比較的よく使われる
  • 粗頻度/総語数*1000000
    • 数字が小さくなりすぎないようにするため

• ※割合の違いを比較するだけなら調整頻度を出す必要はない。

ランダムサンプリング調査(Excelでの集計・補足)

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

• データ：「れる・られる」コアのみ（用法分類）　kwic-rareru.zip

NINJAL LWP for BCCWJの紹介

• http://nlb.ninjal.ac.jp/
• ワードプロファイラー
• 語の振る舞いの概略を見るのに手軽で便利
• 注意点
  • UniDicの見出し語体系でない（＝本来のBCCWJではない）
  • 自動係り受け解析結果は形態素解析以上に誤りが多い

レポートテーマについて

• 次回までにレポートテーマを考えてくること（全員提出のこと）

• 他の授業で取り上げられたテーマや普段から見聞きする言葉に気をつける
• 図書館も活用すること
• ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく

表記

• 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
• 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？レジスター差？
• 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ

類義語・対義語

• 「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い）
• 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
• 「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析

語形、語法

• 「好ましい」「好もしい」・・・語形の揺れと文体差
• 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件

新語・意味変化

• 「断トツ」「定番」「夜ご飯」・・・新語の広がり
• 「役不足」「確信犯」・・・”誤用”と”正用”

2014/06/06

Excelによる集計・つづき

• 復習・補足
  • 語形レベルでの集計
    • 例：exhibition データダウンロード kwic-Exhibition.zip
• 「検索課題」（配付資料）
• 複数の検索結果の結合
  • 例：蒲公英・向日葵・菫
    • データダウンロード kwic-flowers.zip
• 集計用の列を自分で用意する
  • 例：表記（ひらがな・かたかな・漢字）別集計

Excelの文字列関数とIF関数

• 例：ジャンル（NDC）の整理
  • 先頭の文字を取り出す（NDCの一次区分（＝類））
    • =LEFT(<ジャンルのセル>,1)
  • スラッシュで区切られた最初の部分（ジャンルの大分類）
    • =LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)

• 集計用に用意した列で文字列処理関数を利用する
  • LEFT
  • RIGHT
  • MID
  • LEN
  • SEARCH
  • SUBSTITUTE
• 応用例：品詞の大分類を使う
  • =LEFT(<品詞>,SEARCH("-",<品詞>)-1)

2014/05/30

復習

1. 「中納言」による検索
2. Excelでインポート
3. ピボットテーブルで集計

Excelの基礎

• 並べ替え
  • 反転前文脈の使い方
• フィルタ
  • テキストフィルタ

検索の例

• 男と女のレジスタ分布　データ kwic-MaleFemale.zip
  • 男性と女性
  • 男と女と形容詞

• 短単位で検索（unit="1"）

キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"

キー: (語彙素="男性" OR 語彙素 = "女性") 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

• 以下は長単位で検索（unit="2"）

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

• 「検索課題」配付資料

補足

• ジップの法則

2014/05/23

• 資料「『中納言』の使い方」つづき　2.6～

検索条件式の利用

キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" 
AND endOfLine="CRLF" AND tglKugiri="|" AND  encoding="UTF-8" AND tglFixVariable="2"

検索結果をExcelで利用する

• 前回資料（4.）参照

「中納言」検索結果のダウンロードとExcelでの利用

1. ダウンロード
2. アーカイブの展開（解凍）
3. Excelでインポート

【重要】ピボットテーブルの使い方

• ピボットテーブル
• ピボットグラフ

2014/5/16

「中納言」の利用：形態論情報を使った検索

• 配布資料「『中納言』の使い方」
  • 1.３つの検索方法 ～ 2.5ワイルドカード まで

2014/5/9

「中納言」利用申込み

• 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

コーパスの形態論情報

短単位と長単位

• （配付資料）参照
• （スライド）参照

品詞体系

• BCCWJはUniDicの品詞体系にもとづく
  • 形態論情報の例

---

UniDicの品詞体系

• UniDicの品詞体系
  • UniDicマニュアル1.3.9 による

品詞分類

活用型

活用形

学校文法との主な違い

• 品詞
  • 名詞-普通名詞-一般（大分類＞中分類＞小分類） のように階層化されている
  • 名詞-普通名詞-サ変可能 のように可能性に基づく品詞付与がなされている

• 「形状詞」という品詞を立てている（＝形容動詞語幹）　例：「奇麗」「愉快」

• 活用型
  • 下一段-ア行（大分類＞行分類（＞小分類）） のように階層化されている
  • 五段-カ行-イク のように実際の活用にあわせてより細かく分類されている*3

• 漢語サ変動詞を名詞（語幹）と動詞（「する」）に分割（学校文法では全体で1語の動詞として扱う）　例：「研究|する」

• 動詞に助動詞「う」が付いた形を動詞の意志推量形（全体として1語）として扱う 例：「飲もう」

---

UniDic見出し語の階層構造

見出し語の階層構造

• 語彙素：辞書の見出しのレベル
• 語形：異語形を区別するレベル
• 書字形：異表記を区別するレベル

各レベルが持つ情報*4

• 語彙素レベル（語彙素・語彙素読み・語彙素細分類・語種）
  • 語形レベル（語形・品詞・活用型・活用形）
    • 書字形レベル（書字形・仮名形）
    • 発音形レベル（発音形・アクセント）

※語彙素読み・語形・発音形はカタカナ表記。語彙素は漢字を多用した「代表表記」。

基本形と出現形

語形以下のレベルでは、基本形（辞書見出し形＝終止形）と出現形（実際の活用形）の別があり、活用語では違う形になる

例：アザラシが泳ぎます

• 語彙素レベル：（語彙素）泳ぐ　（語彙素読み）オヨグ
  • 語形レベル：（語形(基本形)）オヨグ，（語形出現形*5）オヨギ
    • 書字形レベル：（書字形(基本形)）泳ぐ，（書字形出現形）泳ぎ
    • 発音形レベル：（発音形(基本形)）オヨグ，（発音形出現形）オヨギ

見出し語の例とBCCWJ中の用例数

• 語彙素：矢張り（ヤハリ） 32887
  • 語形：ヤハリ：19876
    • 書字形：やはり：19781
    • 書字形：ヤハリ：0
    • 書字形：矢張り：93
    • 書字形：矢張：2
  • 語形：ヤッパリ：11373
    • 書字形：やっぱり：11296
    • 書字形：ヤッパリ：36
    • 書字形：やつぱり：23
    • 書字形：やッぱり：2
    • 書字形：矢っ張：1
    • 書字形：矢つ張：1
    • 書字形：矢ッ張り：4
    • 書字形：矢っ張り：5
    • 書字形：矢つ張り：5
  • 語形：ヤッパシ：96
    • 書字形：やっぱし：96
  • 語形：ヤッパ：1506
    • 書字形：やっぱ：1503
    • 書字形：ヤッパ：3
  • 語形：ヤパ：35
    • 書字形：やぱ：35
  • 語形：ヤパリ：1
    • 書字形：やぱり：1

---

形態論情報を活かした検索

• 「中納言」での指定方法

2014/5/2

「中納言」利用申込み

• 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

日本語コーパスの紹介（2） コーパスの設計とサンプリング

• （スライド参照）
  • 第2回コーパスの設計とサンプリング

• 均衡コーパス（Balanced corpus）
  • 「バランスがとれている」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題

参考リンク

• 英語のコーパス リファレンス
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
• 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 現代日本語書き言葉均衡コーパス：概要
  • 現代日本語書き言葉均衡コーパス：サンプリング

2014/4/25

「中納言」利用申込み

• 申込用紙を配布します。押印して次回、必ず持ってきてください。

現代日本語書き言葉均衡コーパス（BCCWJ）とは

• BCCWJについて、まず最小限のことを説明します。

• BCCWJ少納言
  • 登録不要
  • 文字列検索のみ
  • 500例まで表示
• BCCWJ中納言
  • 要登録
  • 形態論情報を使った検索
  • 全件（一度に最大10万例まで）ダウンロード可

日本語コーパスの紹介（1）コーパスとはどんなものか

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

• この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
• 日本語コーパス以前のデータとBCCWJの違いは

• （スライド参照）
  • 第2回コーパスとは

2014/04/18

イントロダクション

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
• コーパスとは
  • 国立国語研究所コーパス開発センター
  • 形態素解析辞書UniDic

• デモ
• 「現代日本語書き言葉均衡コーパス（BCCWJ）」
  • BCCWJ少納言
  • BCCWJ中納言
• Excelによる集計（ピボットテーブル）
• 形態素解析：茶まめ／MeCab+UniDic

• シラバス確認
  • シラバス
  • この授業の目的
  • 授業の進め方
  • 評価方法