一橋2012 の履歴(No.31)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 一橋2012 へ行く。
  • 1 (2012-09-26 (水) 13:02:18)
  • 2 (2012-10-04 (木) 19:43:22)
  • 3 (2012-10-11 (木) 13:40:27)
  • 4 (2012-10-12 (金) 10:37:43)
  • 5 (2012-10-18 (木) 14:43:15)
  • 6 (2012-10-18 (木) 14:43:15)
  • 7 (2012-10-22 (月) 10:35:18)
  • 8 (2012-10-25 (木) 18:24:20)
  • 9 (2012-10-26 (金) 10:45:07)
  • 10 (2012-11-08 (木) 13:26:26)
  • 11 (2012-11-08 (木) 17:11:23)
  • 12 (2012-11-09 (金) 11:20:54)
  • 13 (2012-11-15 (木) 15:10:29)
  • 14 (2012-11-16 (金) 02:23:25)
  • 15 (2012-11-29 (木) 22:49:59)
  • 16 (2012-11-30 (金) 11:55:44)
  • 17 (2012-12-06 (木) 03:50:23)
  • 18 (2012-12-07 (金) 09:44:41)
  • 19 (2012-12-13 (木) 17:57:13)
  • 20 (2012-12-14 (金) 12:15:35)
  • 21 (2012-12-14 (金) 14:36:05)
  • 22 (2012-12-20 (木) 22:35:46)
  • 23 (2012-12-21 (金) 11:59:06)
  • 24 (2012-12-25 (火) 16:11:59)
  • 25 (2013-01-10 (木) 02:14:56)
  • 26 (2013-01-11 (金) 01:00:45)
  • 27 (2013-01-11 (金) 10:44:39)
  • 28 (2013-01-17 (木) 23:48:10)
  • 29 (2013-01-18 (金) 10:36:09)
  • 30 (2013-01-24 (木) 16:04:19)
  • 31 (2013-01-25 (金) 10:32:06)

---

日本語学講義(I) 日本語コーパス研究入門†

• 授業に関するメールはこちらへ。
  小木曽 智信： ogiso＠ogiso.net ←＠を半角に置き換えてください
• 授業フォルダ \\Linkstation\share\日本語コーパス

• BCCWJ中納言： https://chunagon.ninjal.ac.jp/

レポートについて

• 締め切り：2月11日
• 枚数：A4用紙 3枚～20枚

2013/02/25　総まとめ

まとめ

1. できたものを利用
   • BCCWJ中納言 + Excelピボットテーブル
2. 自分でデータをなんとかする

   テキストのレベル	ツール	必要な技術
   プレーンテキストレベル	テキストエディタ	grepと正規表現
   タグ付きテキストレベル	ひまわり→ Excel	XML・マークアップの基礎，ピボットテーブル
   形態素解析済みテキストレベル	UniDic，MeCab→ChaKi	ChaKiの使い方

発展

• 今後、コンピュータを活用した言語研究を本格的に行っていくために覚えると良いこと
  1. テキスト処理のための言語なにか一つ　Perl（or Ruby,Python）
  2. データベース（RDB）とSQL
  3. 統計処理・R言語
  4. マークアップ言語と関連技術 XML/XSLT
• 授業資料/コンピュータ言語 (関連書籍の情報，ちょっと古い)

質問

• レポートについて、またはこれまでの授業内容に関して質問を受け付けます

2013/01/18　特別授業＠国語研（ChaKi）

• 希望者のみ参加してください（成績評価の対象外です）
• 午前10：30から行います（午後の予定でしたが，変更になりました）
• 場所：国立国語研究所　4階 405室
• 自分のノートパソコン持参のこと
• http://dl.dropbox.com/u/134600/meidai.zip

1. MeCab http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
2. UniDic 2.xのインストール http://sourceforge.jp/projects/unidic/
3. ChaKi.NETのインストール http://sourceforge.jp/projects/chaki/
4. データの解析と取り込み
5. 茶器による検索
   1. 文字列検索
   2. 正規表現検索
   3. タグ検索（形態論情報を利用した検索）
6. ワードリスト
7. 解析結果の修正

2013/01/11　Wordでレポートや論文を書く

ひまわり補足

• 検索結果をピボットテーブルで集計する

Wordでレポートや論文を書く

• 文書の構造化
  • スタイルと見出し*
  • ナビゲーション ウィンドウ（見出しマップ）*
  • 章・節番号
• 図表の貼り込み
  • 「形式を選択して貼り付け」*
  • 図表番号とキャプション*
• 脚注*
  • 脚注と文末脚注
• 相互参照
  • 節番号、図表番号と相互参照
  • 目次、図表目次
• リスト
  • 例文番号

• 少なくとも*印の機能はこの授業のレポートで実際に利用すること

サンプルファイル：中納言概説

質問

• コーパスとレポートに関する質問受付

2012/12/21　ひまわり

ひまわり

• 全文検索システム「ひまわり」　国立国語研究所/言語データベースとソフトウェア/ひまわり
• ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用

• ひまわり用データ（授業フォルダ）
  • 青空文庫
  • 国会会議録
  • その他
• テキストデータを「ひまわり」で利用するには
  • えだまめ
  • 同等機能が最新版「ひまわり」（1.5）に内蔵された
  • 「名大会話コーパス」をひまわりで

Excelを使った集計(補足)

• グラフの種類について
  • http://office.microsoft.com/ja-jp/help/HA012337371041.aspx
  • 扱う対象・方法に適したグラフを選択する 上記URL参照

• 調整頻度
  • レジスターごとの総語数が違うので、粗頻度ではなく1,000,000語あたり頻度（WPM）などに直して比較する

2012/12/14　文字列検索と正規表現　（少納言，テキストエディタ）

レポートテーマ

• レポートテーマ発表（第1回）

少納言

• BCCWJ 少納言　http://shonagon.ninjal.ac.jp
  • BCCWJの一般公開ページ
  • 文字列検索のみ，表示500件などの制限
  • 一部の正規表現が利用可能

テキストエディタ

• サクラエディタのダウンロード
  • サクラエディタのダウンロード:sakura.zip（授業用に用意したもの）
    • （参考）サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/
• grepとタグジャンプ

正規表現

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
  • エディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
• 授業資料/正規表現

2012/12/7　UniDicによる形態素解析

---

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*2
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

---

• MeCab（Windows用）最新版　Download

茶まめで形態素解析・Excelで集計

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

• 応用：テキストのジャンルと語種，品詞の割合をグラフ化してみる
  • ブログのテキストと新聞記事のテキストの解析結果を比較

2012/11/30

復習と補足

• 連体修飾（である可能性が高いもの）の検索と集計
  • 形容動詞（形状詞＋助動詞「だ」）
• ジップの法則

ショートカットキー

• 授業資料/覚えておきたいショートカットキー

長単位と短単位の仕様の違い

• 複合辞
• 可能性にもとづく品詞付与（短単位）と文脈にもとづく品詞（長単位）
• 可能動詞の語彙素

集計のための処理

• 集計用の列を用意する
  • ex.「割合が｛大きい/小さい, 高い/低い, 多い/少ない｝」
  • データダウンロード
• 文字列関数による置き換え
  • 品詞の大分類を使う
  • =LEFT(<品詞>,SEARCH("-",<品詞>)-1)
• Excelの文字列関数とif関数
  • left,right,mid,len,search,substitute

利用例：「訊く」の話

• 現代書き言葉における動詞「聞く」の表記をBCCWJ中納言で検索

  キー: 語彙素 = "聞く" WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"

  • 「訊く」のレジスタ別分布（コアデータのみ）
    
  • 用法分類は（手作業で行わない限り）できない
  • 割合と粗頻度について

• 参考blog
  1. なぜ広まった？ 「『訊く』が正しい」という迷信 - アスペ日記
  2. 「訊く」という表記について - 蟹亭奇譚
  3. [[「訊く」のこと - あくまのぬいぐるみ>http://d.hatena.ne.jp/YMZ/20121115/p1 ]]

2012/11/16

「中納言」検索結果のダウンロード

1. ダウンロード
2. アーカイブの展開（解凍）
3. インポート

中納言の検索結果をExcelで利用する

• 前々回資料（4.）参照

Excelの基本

• フィルタ
  • テキストフィルタ
• 並べ替え
  • ユーザー設定の並べ替え

Excel:ピボットテーブルとピボットグラフ

• ピボットテーブル
  • Excelのバージョンによってかなり操作方法が違うので注意
• ピボットグラフ

2012/11/09

• 契約書返却

検索条件式

キー: 品詞 LIKE "名詞%" AND 後方共起: 語彙素 = "を" ON 1 WORDS FROM キー AND
 後方共起: 語彙素 = "学ぶ" WITHIN 5 WORDS FROM キー IN core="true"
 WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"

キー: 品詞 LIKE "名詞%" AND 後方共起: 語彙素 = "を" ON 1 WORDS FROM キー AND 
後方共起: (語彙素 = "学ぶ" OR 語彙素 = "習う") WITHIN 5 WORDS FROM キー IN core="true" 
WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"

BCCWJの形態論情報

• UniDicの品詞体系 (配付資料)
  • 品詞：名詞-固有名詞-姓　（大分類＞中分類＞小分類）
  • 活用型：下一段-ア行　（大分類＞行分類（＞小分類））
  • 可能性に基づく品詞体系
    • 名詞-普通名詞-サ変可能

学校文法との違い

• 形容動詞を 形状詞（＝形容動詞語幹）+助動詞ダ として扱う
• サ変動詞を 名詞＋動詞スル として扱う
• 活用語に助動詞「う」が付いた形を意志推量形として扱う

長単位の品詞

• 短単位との違い
  • 可能性に基づく品詞付与ではなく、出現例に即した品詞付与
  • 複合辞
  • 可能動詞の扱い

2012/10/26

「中納言」の利用

• アカウント作成とログイン

中納言によるコーパスの検索方法

• ★配布資料：中納言の使い方

2012/10/19

• 受講者の専門分野・関心領域
• 「中納言」アカウント確認

コーパスの設計とサンプリング

• ★スライド参照（授業フォルダ）
  • 「バランスがとれている」とは？
  • 現代日本語の書き言葉の縮図としてのコーパスを作る
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題

• 参考リンク
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/

• 現代日本語書き言葉均衡コーパスの基本方針
• 現代日本語書き言葉均衡コーパスのためのサンプル抽出

2012/10/12 コーパスとは

はじめに

• 「中納言」利用申込み用紙回収
  • 申込用紙と契約書を回収します。

• 授業フォルダの説明
  • \\Linkstation\share\日本語コーパス

コーパスとは

• ★スライド参照（授業フォルダ）
  • コーパスとはどんなものか
  • 日本語コーパス以外（以前）の電子資料

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

「少納言」を使ってみる

• BCCWJ少納言

参考リンク

• コーパス日本語学のための情報館

2012/10/05 イントロダクション†

• 自己紹介
• 国立国語研究所（NINJAL）
• 国語研コーパス（KOTONOHA）
  • 現代日本語書き言葉均衡コーパス（BCCWJ）
    • 特定領域 日本語コーパス
    • 検索デモサイト
  • 日本語話し言葉コーパス（CSJ）
  • 太陽コーパス（明治・大正期の総合雑誌）
  • 通時コーパス（設計中）

• 授業の進め方について
  • 受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。
  • シラバス確認 https://mercas.hit-u.ac.jp/

• 受講者アンケート
  • 専門・関心領域
  • PCスキル

• デモンストレーション
  • BCCWJ中納言＋Excel
  • 茶まめ（形態素解析）
  • ひまわり

授業で利用する主なソフトウェア†