東京外大2013 の履歴(No.35)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 東京外大2013 へ行く。
  • 1 (2013-04-10 (水) 13:40:23)
  • 2 (2013-04-10 (水) 13:48:14)
  • 3 (2013-04-12 (金) 13:49:52)
  • 4 (2013-04-18 (木) 00:26:13)
  • 5 (2013-04-18 (木) 18:09:01)
  • 6 (2013-04-18 (木) 22:11:33)
  • 7 (2013-04-18 (木) 22:11:33)
  • 8 (2013-04-25 (木) 21:48:30)
  • 9 (2013-04-26 (金) 10:11:16)
  • 10 (2013-05-09 (木) 18:00:45)
  • 11 (2013-05-10 (金) 10:05:45)
  • 12 (2013-05-14 (火) 16:11:04)
  • 13 (2013-05-16 (木) 18:08:04)
  • 14 (2013-05-24 (金) 00:37:00)
  • 15 (2013-05-30 (木) 22:59:17)
  • 16 (2013-05-31 (金) 10:23:42)
  • 17 (2013-06-06 (木) 17:23:17)
  • 18 (2013-06-06 (木) 22:32:23)
  • 19 (2013-06-07 (金) 08:18:58)
  • 20 (2013-06-14 (金) 00:44:21)
  • 21 (2013-06-14 (金) 10:20:02)
  • 22 (2013-06-20 (木) 15:47:01)
  • 23 (2013-06-20 (木) 21:50:43)
  • 24 (2013-06-21 (金) 11:56:40)
  • 25 (2013-06-21 (金) 14:07:04)
  • 26 (2013-06-27 (木) 11:24:24)
  • 27 (2013-06-27 (木) 19:55:08)
  • 28 (2013-06-28 (金) 10:27:31)
  • 29 (2013-07-03 (水) 19:11:35)
  • 30 (2013-07-05 (金) 10:27:50)
  • 31 (2013-07-09 (火) 12:15:55)
  • 32 (2013-07-12 (金) 10:17:10)
  • 33 (2013-07-18 (木) 07:24:28)
  • 34 (2013-07-19 (金) 09:00:21)
  • 35 (2013-07-25 (木) 23:50:34)

---

東京外大2013

日本語教育学研究

コーパス日本語研究入門

• 授業に関するメールはこちらへ。
  小木曽 智信： ogiso＠ogiso.net ←＠を半角に置き換えてください
• シラバス
• 中納言： https://chunagon.ninjal.ac.jp

2013/07/26 最終回

まとめ

1. 既製のコーパスを利用
   • BCCWJ中納言 + Excelピボットテーブル
2. 自分でデータをなんとかする

   テキストのレベル	ツール	必要な技術
   プレーンテキストレベル	テキストエディタ	grepと正規表現
   タグ付きテキストレベル	ひまわり→ Excel	XML・マークアップの基礎，ピボットテーブル
   形態素解析済みテキストレベル	UniDic，MeCab→ChaKi	ChaKiの使い方

発展

• 今後、コンピュータを活用した言語研究を本格的に行っていくために覚えると良いこと
  1. テキスト処理のための言語なにか一つ　Perl（or Ruby,Python）
  2. データベース（RDB）とSQL
  3. 統計処理・R言語
  4. マークアップ言語と関連技術 XML/XSLT
• 授業資料/コンピュータ言語 (関連書籍の情報，←ちょっと古い)

2013/07/19

質問

• コーパスとレポートに関する質問受付

コーパス管理システム「茶器」の利用

1. MeCab http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
2. UniDic 2.xのインストール http://sourceforge.jp/projects/unidic/
3. ChaKi.NETのインストール http://sourceforge.jp/projects/chaki/
4. データの解析と取り込み
5. 茶器による検索
   1. 文字列検索
   2. 正規表現検索
   3. タグ検索（形態論情報を利用した検索）
6. ワードリスト
7. 解析結果の修正

• 係り受け解析
  • CaboCha
    • UniDicモデル

統計的処理

• http://www.kisnet.or.jp/nappa/software/star/
  • フィッシャーの正確検定
  • χ二乗検定
• R

2013/07/12

期末レポートについて

• 締切：7月31日（水）
• 提出先：メールで直接送付（必ず返信を確認すること）
• 分量：A4用紙で3～10枚

質問

• コーパスとレポートに関する質問受付

• ジップの法則

全文検索システム「ひまわり」の利用

ひまわり

• 全文検索システム「ひまわり」　国立国語研究所/言語データベースとソフトウェア/ひまわり
• ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用

全文検索システム「ひまわり」について

• 全文検索システム「ひまわり」
  • ひまわり のダウンロードページ
• ひまわり用データ
  • 青空文庫
    • ひまわり用「青空文庫」パッケージのダウンロードページ
  • 国会会議録
  • その他
• テキストデータを「ひまわり」で利用できるようにするには
  • えだまめ
  • 同等機能が最新版「ひまわり」（1.5）に内蔵された

• 「ひまわり」の検索結果をピボットテーブルで集計する

2013/07/05

Wordでレポートや論文を書く

• 文書の構造化
  • スタイルと見出し*
  • ナビゲーション ウィンドウ（見出しマップ）*
  • 章・節番号
• 図表の貼り込み
  • 「形式を選択して貼り付け」*
  • 図表番号とキャプション*
• 脚注*
  • 脚注と文末脚注
• 相互参照
  • 節番号、図表番号と相互参照
  • 目次、図表目次
• リスト
  • 例文番号

• 少なくとも*印の機能はこの授業のレポートで実際に利用すること

テキストエディタと正規表現の利用

• 資料：サクラエディタの使い方
  • https://dl.dropboxusercontent.com/u/134600/%E3%82%B5%E3%82%AF%E3%83%A9%E3%82%A8%E3%83%87%E3%82%A3%E3%82%BF%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9.doc

テキストエディタ

• サクラエディタのダウンロード
  • サクラエディタのダウンロード:sakura.zip（授業用に用意したもの）
    • （参考）サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/
• grepとタグジャンプ

正規表現

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
  • エディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
• 授業資料/正規表現

2013/06/28

調整頻度

• 100万語あたりの頻度
  • 語数データのダウンロード

テキストエディタの活用

• 前後文脈から不要な部分を消す
  • 正規表現を使った置換

Excelの文字列関数とIF関数・補足

• 後文脈の「。」より後を消す（「。」がない場合はそのまま）

  =IF(ISERROR(SEARCH("。",<後文脈>)),<後文脈>,LEFT(<後文脈>,SEARCH("。",<後文脈>)))

• 前文脈の「。」以前を消す（「。」がない場合はそのまま）*1

  =RIGHT(<前文脈>,LEN(<前文脈>)-(FIND("~",SUBSTITUTE("。"&<前文脈>,"。","~",LEN("。"&<前文脈>)-LEN(SUBSTITUTE("。"&<前文脈>,"。",""))),1)-1))

レポートテーマについて

2013/06/21

コーパス開発センター：ホームページリニューアル

• http://www.ninjal.ac.jp/corpus_center/

ランダムサンプリング調査(Excelでの集計・補足)

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

Excelの文字列関数とIF関数

• LEFT, RIGHT, MID, LEN, SEARCH, SUBSTITUTE

• 品詞の大分類を使う

  =LEFT(<品詞>,SEARCH("-",<品詞>)-1)

NINJAL LWP for BCCWJの紹介

• http://nlb.ninjal.ac.jp/
• ワードプロファイラー
• 語の振る舞いの概略を見るのに非常に便利

• 注意点
  • UniDic体系でない（＝本来のBCCWJではない）
  • データソースはBCCWJの一部だけ
  • 係り受け解析は誤りも多い

レポートテーマについて

• 次回、レポートテーマを聞きます！

2013/06/14

形態素解析とUniDic

---

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*2
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*3
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

---

• 形態素解析器MeCab（Windows用）最新版　Download

授業用UniDic+MeCabパッケージのダウンロード

• https://dl.dropboxusercontent.com/u/134600/portable-unidic-mecab.zip

茶まめで形態素解析・Excelで集計

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

• テキストのジャンルと語種，品詞の割合をグラフ化してみる
  • ブログのテキストと新聞記事のテキストの解析結果を比較

2013/06/07

• 中納言新システムの再確認
  • キャッシュに注意

短単位と長単位（復習）

• 新参考配付資料

中納言検索課題

• 前回配布プリント参照

Excelの文字列関数とif関数

• 集計用に用意した列で文字列処理関数を利用する
• left,right,mid,len,search,substitute

• 応用例：品詞の大分類を使う

  =LEFT(<品詞>,SEARCH("-",<品詞>)-1)

2013/05/31

• 中納言契約書返却

中納言システムアップデート（5月30日）について

• 中納言のシステムが新しくなりました
• 新機能の紹介
  • 検索対象の指定が柔軟にできるようになった
  • 短単位検索の条件指定において「検索キーの位置をずらす」指定ができるようになった
  • 検索キーの前後位置に条件指定を行ったとき、キーに条件を指定しない検索ができるようになった
  • 検索キーの前後の単位を結合してKWICキーに指定することができるようになった
  • 検索結果のダウンロード時に圧縮の有無や文字コードを指定できるようになった
  • 文字列検索で（解析単位ではなく）検索文字列をキーにしたKWIC表示ができるようになった
  • サーバの負荷状況が表示されるようになった

Excelによる集計・つづき

• ピボットテーブル
  • ピボットグラフ
• 複数の検索結果の結合
• 集計用の列を自分で用意する

2013/05/24

長単位と短単位

• スライド参照
  • 複合辞
  • 可能性に基づく品詞付与ではなく、出現例に則した品詞付与
  • 可能動詞の語彙素

「中納言」検索結果の利用

• 検索結果のダウンロード
  1. ダウンロード
  2. アーカイブの展開（解凍）
  3. インポート
• 中納言の検索結果をExcelで利用する
  • 前々回資料（4.）参照

Excelの利用

• Excelの基本
  • フィルタ
    • テキストフィルタ
  • 並べ替え
    • ユーザー設定の並べ替え
• ピボットテーブルとピボットグラフ
  • ピボットテーブル
    • Excelのバージョンによってかなり操作方法が違うので注意
  • ピボットグラフ

2013/05/17

中納言によるコーパスの検索方法（つづき）

• 中納言の使い方（つづき)

• 配布資料：UniDicマニュアル 解説編

BCCWJの形態論情報

• UniDicの品詞体系
  • 品詞：名詞-固有名詞-人名-姓　（大分類＞中分類＞小分類（＞細分類））
  • 活用型：下一段-ア行　（大分類＞行分類（＞小分類））
  • 可能性に基づく品詞体系
    • 名詞-普通名詞-サ変可能

学校文法との違い

• 形状詞　（＝形容動詞語幹）
• 助動詞「う」が付いた形を意志推量形として扱う
• サ変動詞は語幹と「する」に分かれる

2013/05/10

「中納言」の利用

• アカウント作成とログイン

中納言によるコーパスの検索方法

• 配布資料：中納言の使い方
  (次回も持ってきてください)

2013/04/26

• 中納言申込み確認

コーパスの設計とサンプリング

• 「バランスがとれている」とは？
• 現代日本語の書き言葉の縮図としてのコーパスを作る
• コーパスの母集団の設定とサンプリング
• BCCWJのサブコーパス（レジスター）
• 可変長と固定長

• 著作権をめぐる問題

• 参考リンク
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/

• 現代日本語書き言葉均衡コーパスの基本方針
• 現代日本語書き言葉均衡コーパスのためのサンプル抽出

「少納言」を使ってみる

• BCCWJ少納言

---

テキストエディタ†

前回つづき

• サクラエディタのダウンロードとインストール
  • サクラエディタのダウンロード:sakura2.zip
    • (参考) サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/
• サンプルテキストデータ
  • sample.zip

2013/04/19

「中納言」利用申込み

• 申込用紙を配布します。

---

コーパスとは

• スライド参照
  • コーパスとはどんなものか
  • 日本語コーパス以外（以前）の電子資料

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

参考リンク

• コーパス日本語学のための情報館

テキストエディタ†

• テキストエディタとはどんなものか
  • 授業資料/テキストエディタ

4/12 第1回 イントロダクション/日本語コーパスの紹介

• 自己紹介
• 国立国語研究所（NINJAL）
  • コーパス開発センター
• 国語研のコーパス（KOTONOHA）
  • 現代日本語書き言葉均衡コーパス（BCCWJ）
    • 特定領域 日本語コーパス
    • 少納言
    • 中納言
  • 日本語話し言葉コーパス（CSJ）
  • 太陽コーパス（明治・大正期の総合雑誌）
  • 日本語歴史コーパス（平安時代編先行公開版）
    • CHJ 中納言

• 受講者アンケート
  • 専門・関心領域
  • PCスキル

• 授業の進め方について
  • 受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。