東京外大2013 の履歴(No.27)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 東京外大2013 へ行く。
  • 1 (2013-04-10 (水) 13:40:23)
  • 2 (2013-04-10 (水) 13:48:14)
  • 3 (2013-04-12 (金) 13:49:52)
  • 4 (2013-04-18 (木) 00:26:13)
  • 5 (2013-04-18 (木) 18:09:01)
  • 6 (2013-04-18 (木) 22:11:33)
  • 7 (2013-04-18 (木) 22:11:33)
  • 8 (2013-04-25 (木) 21:48:30)
  • 9 (2013-04-26 (金) 10:11:16)
  • 10 (2013-05-09 (木) 18:00:45)
  • 11 (2013-05-10 (金) 10:05:45)
  • 12 (2013-05-14 (火) 16:11:04)
  • 13 (2013-05-16 (木) 18:08:04)
  • 14 (2013-05-24 (金) 00:37:00)
  • 15 (2013-05-30 (木) 22:59:17)
  • 16 (2013-05-31 (金) 10:23:42)
  • 17 (2013-06-06 (木) 17:23:17)
  • 18 (2013-06-06 (木) 22:32:23)
  • 19 (2013-06-07 (金) 08:18:58)
  • 20 (2013-06-14 (金) 00:44:21)
  • 21 (2013-06-14 (金) 10:20:02)
  • 22 (2013-06-20 (木) 15:47:01)
  • 23 (2013-06-20 (木) 21:50:43)
  • 24 (2013-06-21 (金) 11:56:40)
  • 25 (2013-06-21 (金) 14:07:04)
  • 26 (2013-06-27 (木) 11:24:24)
  • 27 (2013-06-27 (木) 19:55:08)
  • 28 (2013-06-28 (金) 10:27:31)
  • 29 (2013-07-03 (水) 19:11:35)
  • 30 (2013-07-05 (金) 10:27:50)
  • 31 (2013-07-09 (火) 12:15:55)
  • 32 (2013-07-12 (金) 10:17:10)
  • 33 (2013-07-18 (木) 07:24:28)
  • 34 (2013-07-19 (金) 09:00:21)
  • 35 (2013-07-25 (木) 23:50:34)

---

東京外大2013

日本語教育学研究

コーパス日本語研究入門

• 授業に関するメールはこちらへ。
  小木曽 智信： ogiso＠ogiso.net ←＠を半角に置き換えてください
• シラバス
• 中納言： https://chunagon.ninjal.ac.jp

2013/06/28

調整頻度

• 100万語あたりの頻度
  • 語数データのダウンロード

テキストエディタの活用

• 前後文脈から不要な部分を消す
  • 正規表現を使った置換

Excelの文字列関数とIF関数・補足

• 後文脈の「。」より後を消す（「。」がない場合はそのまま）

  =IF(ISERROR(SEARCH("。",<後文脈>)),<後文脈>,LEFT(<後文脈>,SEARCH("。",<後文脈>)))

• 前文脈の「。」以前を消す（「。」がない場合はそのまま）*1

  =RIGHT(<前文脈>,LEN(<前文脈>)-(FIND("~",SUBSTITUTE("。"&<前文脈>,"。","~",LEN("。"&<前文脈>)-LEN(SUBSTITUTE("。"&<前文脈>,"。",""))),1)-1))

レポートテーマについて

「ひまわり」を使った自作ミニコーパス作成の講習会

2013/06/21

コーパス開発センター：ホームページリニューアル

• http://www.ninjal.ac.jp/corpus_center/

ランダムサンプリング調査(Excelでの集計・補足)

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

Excelの文字列関数とIF関数

• LEFT, RIGHT, MID, LEN, SEARCH, SUBSTITUTE

• 品詞の大分類を使う

  =LEFT(<品詞>,SEARCH("-",<品詞>)-1)

NINJAL LWP for BCCWJの紹介

• http://nlb.ninjal.ac.jp/
• ワードプロファイラー
• 語の振る舞いの概略を見るのに非常に便利

• 注意点
  • UniDic体系でない（＝本来のBCCWJではない）
  • データソースはBCCWJの一部だけ
  • 係り受け解析は誤りも多い

レポートテーマについて

• 次回、レポートテーマを聞きます！

2013/06/14

形態素解析とUniDic

---

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*2
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*3
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

---

• 形態素解析器MeCab（Windows用）最新版　Download

授業用UniDic+MeCabパッケージのダウンロード

• https://dl.dropboxusercontent.com/u/134600/portable-unidic-mecab.zip

茶まめで形態素解析・Excelで集計

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

• テキストのジャンルと語種，品詞の割合をグラフ化してみる
  • ブログのテキストと新聞記事のテキストの解析結果を比較

2013/06/07

• 中納言新システムの再確認
  • キャッシュに注意

短単位と長単位（復習）

• 新参考配付資料

中納言検索課題

• 前回配布プリント参照

Excelの文字列関数とif関数

• 集計用に用意した列で文字列処理関数を利用する
• left,right,mid,len,search,substitute

• 応用例：品詞の大分類を使う

  =LEFT(<品詞>,SEARCH("-",<品詞>)-1)

2013/05/31

• 中納言契約書返却

中納言システムアップデート（5月30日）について

• 中納言のシステムが新しくなりました
• 新機能の紹介
  • 検索対象の指定が柔軟にできるようになった
  • 短単位検索の条件指定において「検索キーの位置をずらす」指定ができるようになった
  • 検索キーの前後位置に条件指定を行ったとき、キーに条件を指定しない検索ができるようになった
  • 検索キーの前後の単位を結合してKWICキーに指定することができるようになった
  • 検索結果のダウンロード時に圧縮の有無や文字コードを指定できるようになった
  • 文字列検索で（解析単位ではなく）検索文字列をキーにしたKWIC表示ができるようになった
  • サーバの負荷状況が表示されるようになった

Excelによる集計・つづき

• ピボットテーブル
  • ピボットグラフ
• 複数の検索結果の結合
• 集計用の列を自分で用意する

2013/05/24

長単位と短単位

• スライド参照
  • 複合辞
  • 可能性に基づく品詞付与ではなく、出現例に則した品詞付与
  • 可能動詞の語彙素

「中納言」検索結果の利用

• 検索結果のダウンロード
  1. ダウンロード
  2. アーカイブの展開（解凍）
  3. インポート
• 中納言の検索結果をExcelで利用する
  • 前々回資料（4.）参照

Excelの利用

• Excelの基本
  • フィルタ
    • テキストフィルタ
  • 並べ替え
    • ユーザー設定の並べ替え
• ピボットテーブルとピボットグラフ
  • ピボットテーブル
    • Excelのバージョンによってかなり操作方法が違うので注意
  • ピボットグラフ

2013/05/17

中納言によるコーパスの検索方法（つづき）

• 中納言の使い方（つづき)

• 配布資料：UniDicマニュアル 解説編

BCCWJの形態論情報

• UniDicの品詞体系
  • 品詞：名詞-固有名詞-人名-姓　（大分類＞中分類＞小分類（＞細分類））
  • 活用型：下一段-ア行　（大分類＞行分類（＞小分類））
  • 可能性に基づく品詞体系
    • 名詞-普通名詞-サ変可能

学校文法との違い

• 形状詞　（＝形容動詞語幹）
• 助動詞「う」が付いた形を意志推量形として扱う
• サ変動詞は語幹と「する」に分かれる

2013/05/10

「中納言」の利用

• アカウント作成とログイン

中納言によるコーパスの検索方法

• 配布資料：中納言の使い方
  (次回も持ってきてください)

2013/04/26

• 中納言申込み確認

コーパスの設計とサンプリング

• 「バランスがとれている」とは？
• 現代日本語の書き言葉の縮図としてのコーパスを作る
• コーパスの母集団の設定とサンプリング
• BCCWJのサブコーパス（レジスター）
• 可変長と固定長

• 著作権をめぐる問題

• 参考リンク
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/

• 現代日本語書き言葉均衡コーパスの基本方針
• 現代日本語書き言葉均衡コーパスのためのサンプル抽出

「少納言」を使ってみる

• BCCWJ少納言

---

テキストエディタ†

前回つづき

• サクラエディタのダウンロードとインストール
  • サクラエディタのダウンロード:sakura2.zip
    • (参考) サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/
• サンプルテキストデータ
  • sample.zip

2013/04/19

「中納言」利用申込み

• 申込用紙を配布します。

---

コーパスとは

• スライド参照
  • コーパスとはどんなものか
  • 日本語コーパス以外（以前）の電子資料

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

参考リンク

• コーパス日本語学のための情報館

テキストエディタ†

• テキストエディタとはどんなものか
  • 授業資料/テキストエディタ

4/12 第1回 イントロダクション/日本語コーパスの紹介

• 自己紹介
• 国立国語研究所（NINJAL）
  • コーパス開発センター
• 国語研のコーパス（KOTONOHA）
  • 現代日本語書き言葉均衡コーパス（BCCWJ）
    • 特定領域 日本語コーパス
    • 少納言
    • 中納言
  • 日本語話し言葉コーパス（CSJ）
  • 太陽コーパス（明治・大正期の総合雑誌）
  • 日本語歴史コーパス（平安時代編先行公開版）
    • CHJ 中納言

• 受講者アンケート
  • 専門・関心領域
  • PCスキル

• 授業の進め方について
  • 受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。