成蹊2013
- 日本語・日本文学を学んでいくうえでぜひ身につけておきたいコンピュータに関する知識・技術を学びます。
- 後期・金曜4限
- ogiso＠ogiso.net ←＠を@に直してください
- 残り授業日
- 12/13, 12/20(休講), 2014/1/10,1/17
2013/12/20
2013/12/13
補足
- 複数の検索結果表をまとめる
- 2回分の検索結果を一つのピボットテーブルで集計するには
レポート作成のためのコーパス検索・調査（1）
2013/12/06
BCCWJ利用の落とし穴
- BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
- レジスターによって母集団の年が違っている
- 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ
- もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
- cf.人口あたりの事故件数，１平方キロあたりの…etc.
調整頻度の計算
- 粗頻度を総語数で割る
- レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
- 調整頻度には100万語あたりの頻度（pmw）が比較的よく使われる
ランダムサンプリング調査(Excelでの集計・補足)
- 大量に用例があり、調査内容からすべて対象にできない場合
- ランダムに並べ替え→先頭n例を調査対象に
- ランダムな数字の列： =RAND()
- ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される
NINJAL LWP for BCCWJの紹介
- http://nlb.ninjal.ac.jp/
- ワードプロファイラー
- 語の振る舞いの概略を見るのに手軽で便利
- 注意点
- UniDicの見出し語体系でない（＝本来のBCCWJではない）
- データソースはBCCWJの一部だけ
- 自動係り受け解析結果は形態素解析以上に誤りが多い
2013/11/29
検索の例つづき
形態素解析とUniDic
形態素解析：「Mecab」と「UniDic」†
形態素解析とは†
どんなものか
- デモ: Web茶まめ (MeCab + UniDic）
- 日本語の自然言語処理の基礎技術
- 今ではかなり枯れた技術
- 機械学習による言語処理のはしり
- 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
- 「形態素解析」= "Morphological analysis"
- morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
- 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）
- 形態素解析の仕組み
- 生起コストと連接コスト
- その語はどれくらい出てくるか、どんな語とつながりやすいか
- コーパスから統計的に取得（機械学習）
- 経路の選択（参考：ビタビアルゴリズム）
形態素解析用ソフトウェア†
以前から使われているソフトウェア
- 形態素解析器（解析エンジン・プログラム）
- 解析用辞書
UniDicの特長†
- 見出し語が短単位という斉一な単位に揃えられている
- 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
- アクセントや音変化の情報を付与することができる
- 語種など言語研究のための豊富な情報が付与されている
- UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
- 後から開発されたMeCabの方が解析精度が高いのでおすすめ
比較的新しい形態素解析器†
形態素解析に関する専門書†
- 工藤拓『形態素解析の理論と実装』近代科学社（2018）
（参考）長単位解析器†
※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる
（参考）係り受け解析器†
※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き
授業用UniDic+MeCabパッケージのダウンロード
茶まめで形態素解析・Excelで集計
- 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
- Excelに出力する
- ピボットテーブルで集計する
- テキストのジャンルと語種，品詞の割合をグラフ化してみる
- ブログのテキストと新聞記事のテキストの解析結果を比較
レポートテーマについて
- 次回までにレポートテーマを考えてくること（全員に聞きます）
- 普段から見聞きする言葉に気をつけるとともに、図書館も活用すること
- ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく
表記
- 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
- 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？文体差？
- 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ
類義語・対義語
- 「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い）
- 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
- 「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析
語形、語法
- 「好ましい」「好もしい」・・・語形の揺れと文体差
- 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件
新語・意味変化
- 「断トツ」「定番」「夜ご飯」・・・新語の広がり
- 「役不足」「確信犯」・・・”誤用”と”正用”
2013/11/22
復習
- 「中納言」による検索
- Excelでインポート
- ピボットテーブルで集計
Excelの基礎
検索の例
補足
- 連体修飾（である可能性が高いもの）の検索と集計
- ジップの法則
2013/11/08
検索条件式
キー: 語彙素 = "奇麗" IN core="true" WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"
検索結果をExcelで利用する
「中納言」検索結果のダウンロードとExcelでの利用
- ダウンロード
- アーカイブの展開（解凍）
- Excelでインポート
【重要】ピボットテーブルの使い方
2013/11/01
コーパスの形態論情報
学校文法との違い
- 品詞：名詞-普通名詞-一般 （大分類＞中分類＞小分類）
- 活用型：下一段-ア行 （大分類＞行分類（＞小分類））
- 可能性に基づく品詞
- 形状詞 （＝形容動詞語幹）
- 助動詞「う」が付いた形を意志推量形として扱う
- 漢語サ変動詞を名詞（語幹）と動詞（「する」）に分割
見出し語の階層構造
形態論情報を活かした検索
2013/10/25
日本語コーパスの紹介（2） コーパスの設計とサンプリング
- （スライド参照）
- 「バランスがとれている」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題
2013/10/11
日本語コーパスの紹介（1）コーパスとはどんなものか
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
- もうひとつの授業「日本語日本文学のためのコンピュータ」で扱っているデータは後者
2013/10/04
「中納言」利用申込み
- 申込用紙を配布します。押印して次回、必ず持ってきてください。
現代日本語書き言葉均衡コーパス（BCCWJ）とは
- BCCWJについて、まず最小限のことを説明します。
「中納言」を使ってみる
- 詳しい説明を後回しにして、とにかく「中納言」を使ってみましょう。
- ログイン方法、インターフェイスの使い方を確認してください。
2013/09/27
イントロダクション
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
