![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[東京外大2016]] *Japan Studies 2：日本語コーパスの活用 -秋学期・木曜4限 -ogiso＠ogiso.net ←＠を@に直してください ---- -[[コーパス検索アプリケーション「中納言」 https://chunagon.ninjal.ac.jp/>https://chunagon.ninjal.ac.jp/]] **アクティブラーニングについて -次のイベントのうちいずれか2つ以上に参加して報告すること --11/2 [[語学研究所定例研究会（小木曽）>http://www.tufs.ac.jp/event/general/post_819.html]] --12/3 [[第一回 学習者コーパスワークショップ ―学習者コーパス（I-JAS）を利用するために―>http://www.ninjal.ac.jp/event/specialists/project-meeting/m-2016/20161203-sympo/]] --12/9 [[じんもんこん2016特別講演「言語研究と言語資源」>http://jinmoncom.jp/sympo2016/program.html]] --2017/2/10 [[NINJALチュートリアル「『日本語歴史コーパス』活用入門 ―「中納言」による検索と集計―」>https://www.ninjal.ac.jp/event/specialists/tutorial/ninjal-t021/]] --2017/3/6-11 [[国語研・言語資源活用週間>http://pj.ninjal.ac.jp/corpus_center/lrw2016.html]]のイベント（いずれか一日参加で1と数える） （今後、これ以外のイベントも紹介します） **レポートについて -BCCWJとこの授業で紹介した手法を活用した日本語研究 -〆切：1月26日(木) -枚数：A4用紙で4枚以上～20枚以下 -メールで提出 ***残り -1/19 **2017/01/19 質問・レポート課題の調査（II） -レポート作成を念頭に、コーパスを使い検索結果を活用することに関する質問に答えます。 -ミニコーパスの作成に関する質問にもお答えします。 -レポート課題のための調査を進めつつ積極的に質問してください。 **2017/01/12 質問・レポート課題の調査（I） -レポート作成を念頭に、コーパスを使い検索結果を活用することに関する質問に答えます。 -レポート課題のための調査を進めつつ積極的に質問してください。 （コーパスを作ることに関する質問は次回対応します。） **2017/01/05 ミニコーパスを作る ***前回補足（ひまわりによる既存のデータの活用） -ひまわり用データ --[[近代雑誌のコーパス>http://pj.ninjal.ac.jp/corpus_center/cmj/]]（現在ではCHJに包含） --青空文庫 [[ひまわり用「青空文庫」パッケージ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%A5%C0%A5%A6%A5%F3%A5%ED%A1%BC%A5%C9%2F%A1%D8%C0%C4%B6%F5%CA%B8%B8%CB%A1%D9%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8]] --[[「国会会議録」パッケージ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%A5%C0%A5%A6%A5%F3%A5%ED%A1%BC%A5%C9%2F%A1%D8%B9%F1%B2%F1%B2%F1%B5%C4%CF%BF%A1%D9%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8]] -インポート機能で自動生成したXMLを修正する --属性の付与 --設定ファイルの修正 --再インデックス ***形態素解析の利用 インストールと利用のデモ -MeCab http://taku910.github.io/mecab/ -UniDic https://ja.osdn.net/projects/unidic/ -[[Web茶まめ>http://chamame.ninjal.ac.jp/]] #amazon(4254516029); #clear ***テキストの性質に関する古典的な指標とその出し方 -語種比率 -TTR （Type Token Ratio）延べ異なり比 -名詞率 -MVR （Modifier / Verb Ratio） --[[樺島忠夫, 寿岳章子『文体の科学』1965年>http://iss.ndl.go.jp/books/R100000039-I000811523-00]] -平均文長 ***形態素解析結果を利用するツール -CaboCha (文節係り受け解析) https://taku910.github.io/cabocha/ -ChaKi.net （コーパス管理ツール）https://ja.osdn.net/projects/chaki/ -デモ ***テキスト処理のレベルとツール |~処理|形態素解析（短単位）→|（長単位解析）→|文節係り受け解析→|解析結果の管理・利用|h |~BCCWJの場合|MeCab（解析器）＋UniDic（辞書）→|Comainu→|→|（大納言→）中納言| |~一般向けツール|MeCabなど（解析器）＋UniDicなど（辞書）&br;Web茶まめ→|（Comainu）→|（CaboCha）→|Chaki.net| **2016/12/22 演習発表Ⅶ -宿題 --ミニコーパスの素材を用意する ***自分用のミニコーパスを作る （テキストデータは別途用意するのを前提として） -日本語コーパスのタグ付けのレベル |~テキストのレベル|ツール|必要な技術|h |~プレーンテキスト|テキストエディタ|grepと正規表現| |~構造化テキスト|ひまわり→ Excel|XML・マークアップの基礎，ピボットテーブル| |~形態素解析済みテキスト|UniDic+MeCab→中納言・ChaKi|形態素解析の知識，ChaKiの使い方| +プレーンテキスト：テキストエディタ（grepと正規表現） →今回 +構造化テキスト（旧「太陽コーパス」など）：XMLと「ひまわり」 →今回 +形態素解析済みテキスト（BCCWJ，CHJなど）：「中納言」相当←自分で作るには、Web茶まめ・ChaKi.net **プレーンテキストのミニコーパス ***テキストエディタと正規表現 -初心者におすすめの正規表現に対応したテキストエディタ（フリー） --Windows: Sakura Editor ---http://sakura-editor.sourceforge.net/ --Mac: Mi ---http://www.mimikaki.net/ ***授業用サクラエディタのダウンロード （正規表現ライブラリ同梱） -[[sakura2.zip>https://dl.dropboxusercontent.com/u/134600/sakura2.zip]] サンプルテキスト -[[soseki2.zip>https://dl.dropboxusercontent.com/u/134600/soseki2.zip]] ***正規表現 -''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する --エディタでは置換・検索・grepで利用できる （エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている） --特殊な文字（メタ文字）はすべて半角 //--特殊な文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2 -[[授業資料/正規表現]] ***正規表現に関する参考資料 [#w86de08b] -サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html -正規表現に関する本 [[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]] #amazon(4873114500) #amazon(4873113598) #clear **構造化テキストのミニコーパス ***XMLとひまわり -[[XML>https://ja.wikipedia.org/wiki/Extensible_Markup_Language]] --独自のタグが定義できる汎用のマークアップ言語 --多くのコーパスがXMLで記述されている。 ---「現代日本語書き言葉均衡コーパス」（BCCWJ）も「日本語歴史コーパス」もソースはXML cf.[[BCCWJのタグセット>http://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html]] ***ひまわり -[[全文検索システム「ひまわり」>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用 -基本的に文字列検索のみ（携帯論情報付きデータの検索にはあまり向かない） ***全文検索システム「ひまわり」について -[[ひまわり のダウンロードページ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] ***テキストデータを「ひまわり」で利用できるようにする -[[XMLファイルを自分で作る>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A1]] -[[インポート機能をつかって簡単に作る>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A12]] **2016/12/15 演習発表Ⅵ -発表2件 （ミニコーパス作成に向けて） -[[Web茶まめ>http://chamame.ninjal.ac.jp/]] -語種比率 -延べ語数異なり語数比率 --Type Token Raio --ピボットテーブルでの計算 **2016/12/08 演習発表Ⅴ -[[ジップ（Zipf）の法則>https://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%83%E3%83%97%E3%81%AE%E6%B3%95%E5%89%87]] --順位×頻度≒定数 -特徴語抽出 --対数尤度比 Log Likelihood Ratio --Excel用の関数(VBA) Public Function LogLikelihood(ByVal target As Long, comparison As Long, targetTotal As Long, comparisonTotal As Long) As Variant a = target b = comparison c = targetTotal - a d = comparisonTotal - b If a = 0 Then aloga = 0 Else aloga = a * Log(a) If b = 0 Then blogb = 0 Else blogb = b * Log(b) LogLikelihood = 2 * (aloga + blogb + c * Log(c) + d * Log(d) - (a + b) * Log(a + b) - (a + c) * Log(a + c) - (b + d) * Log(b + d) - (c + d) * Log(c + d) + (a + b + c + d) * Log(a + b + c + d)) If target / targetTotal < comparison / comparisonTotal Then LogLikelihood = LogLikelihood * (-1) End Function -[[ダウンロード LLR.xlsm>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=LLR.xlsm&refer=%C5%EC%B5%FE%B3%B0%C2%E72016%2FJapanStudies2]] --cf.[[『現代日本語書き言葉均衡コーパス』語彙表>http://pj.ninjal.ac.jp/corpus_center/bccwj/freq-list.html]] **2016/12/01 演習発表Ⅳ ***vlookup関数 自分で作ったミニデータベースを検索して値を取り出すようなことができる関数 -[[授業資料/vlookup関数]] ***コロケーション強度 単に頻度をみるのではなく、２つの語が本当に共起しやすいのかを図る指標 -[[授業資料/コロケーション強度]] **2016/11/24 （休み）外語祭 **2016/11/17 演習発表Ⅲ (アルバイト募集) -[[じんもんこん2016>http://jinmoncom.jp/sympo2016/]] 受付・会場係等 --12/9（金）午後、10(土)、11(日) --時給1000円、交通費・弁当支給 (前回補足コメント) -BCCWJデータの年代の偏りについて --「語数について」ピボット集計 --経年変化はレジスターを限定しないとできない。 --初出探しに使うことはほぼできない。 ***クロス集計表からのコレスポンデンス分析 -「やはり」「やっぱり」「やっぱ」とレジスター yahari<-matrix(c( 1,2,0,9,4,0, 20,12,1,30,23,0, 31,54,13,17,31,2 ) ,3,6,byrow = T) colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書") rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ") #MASSパッケージを読み込む library(MASS) (yahari.ca<-corresp(yahari,nf=3)) biplot(yahari.ca) #固有値 固有値<-yahari.ca$cor^2 round(固有値,3) #累積寄与率 round(100*固有値/sum(固有値),2) 参考リンク：[[Ｒと対応分析>https://www1.doshisha.ac.jp/~mjin/R/26/26.html]] -玉葱の表記 negi<-matrix(c( 42,93,2,129,90,7,0,1,12,23,47,0, 33,36,0,65,87,6,4,36,11,0,61,6, 5,30,5,33,9,1,0,1,8,0,2,0, 97,336,0,215,225,39,0,3,15,0,92,4, 3,23,0,31,86,0,3,0,0,0,28,2 ) ,5,12,byrow = T) colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書") rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱") library(MASS) (negi.ca<-corresp(negi,nf=5)) biplot(negi.ca) 固有値<-negi.ca$cor 2 round(固有値,3) #累積寄与率 round(100*固有値/sum(固有値),2) **2016/11/10 休講 -シカゴに行ってきます。 **2016/10/27 演習発表Ⅱ -多変量解析 --主成分分析 --''対応分析''＝コレスポンデンス分析 -参考資料：[[[連載]フリーソフトによるデータ解析・マイニング (同志社大・金明哲先生)>ftp://tech.obihiro.ac.jp/suzuki/mjin_R.pdf]] --第26回 Ｒと対応分析 https://www1.doshisha.ac.jp/~mjin/R/26/26.html **バ行ヴァ行 キー: (語彙素="バイオリン" OR 語彙素="バイオレット" OR 語彙素="バイタリティ" OR 語彙素="バイキング" OR 語彙素="バカンス" OR 語彙素="バチカン" OR 語彙素="バニラ" OR 語彙素="バラエティ" OR 語彙素="バリエーション" OR 語彙素="バリュー" OR 語彙素="ビーナス" OR 語彙素="ビオラ" OR 語彙素="ビザ" OR 語彙素="ベール" OR 語彙素="ベテラン" OR 語彙素="ベトナム" OR 語彙素="バージン"); **2016/10/20 演習発表Ⅰ **2016/10/13 Rを使ってみる ／ 研究例紹介 -[[R>https://ja.wikipedia.org/wiki/R%E8%A8%80%E8%AA%9E]]とは --Rのダウンロード https://cran.ism.ac.jp/bin/windows/base/ -中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計 | |雑誌|書籍|新聞|ブログ|知恵袋|白書| |ヤッパ|1|2||9|4|| |ヤッパリ|20|12|1|30|23|| |ヤハリ|31|54|13|17|31|2| ***独立性の検定(χ二乗検定) -ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T) chisq.test(data) 帰無仮説（H0）：二つのレジスターと「やはり」類の使用頻度には差がない 検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される ＝二つのレジスターに差がある（レジスターと関係がないのに偶然こうなる可能性は5%以下） -参考：http://www.weblio.jp/content/%E7%8B%AC%E7%AB%8B%E6%80%A7%E3%81%AE%E6%A4%9C%E5%AE%9A ***クラスター分析 --「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離（どのレジスター同士が似ているか） yahari<-matrix(c( 1,2,0,9,4,0, 20,12,1,30,23,0, 31,54,13,17,31,2 ) ,3,6,byrow = T) colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書") rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ") yahari <- t(yahari) #行と列を入れ替え yahari.d<-dist(yahari) #距離の計算 yahari.d result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析 plot(result,hang=-1) #デンドログラムを描く -参考：https://www1.doshisha.ac.jp/~mjin/R/28/28.html ***研究紹介 -「『現代日本語書き言葉均衡コーパス』における可能表現のバリエーション」より //2009年日本語学会 #amazon(4274065707) #clear **2016/10/06 イントロダクション -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/ -コーパス --[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]] --[[「現代日本語書き言葉均衡コーパス（BCCWJ）」>http://pj.ninjal.ac.jp/corpus_center/bccwj/]] --BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]] -ツール --[[Web茶まめ>http://chamame.ninjal.ac.jp]] ---[[MeCab>http://taku910.github.io/mecab/]] ---[[UniDic>https://ja.osdn.net/projects/unidic/]] --[[茶器 Chaki.NET>https://ja.osdn.net/projects/chaki/]] --[[R>https://www.r-project.org/]] ***[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=2016%B8%E5%B4%FC%A1%A6%C5%EC%B5%FE%B3%B0%B9%F1%B8%EC%C2%E7%B3%D8%B6%B5%CC%B3%A5%B7%A5%B9%A5%C6%A5%E0%20-%2053M0862-Japan%20Studies%20%A3%B2.pdf&refer=%C5%EC%B5%FE%B3%B0%C2%E72016%2F%B8%E5%B4%FC]]より : 講義・演習の別 | 演習 : 授業の目標 | 日本語コーパスを研究に利用することができるようになるためのやや高度な知識と技術を身につける。 : 授業の概要 | 日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を利用した調査研究と発表を行う。 : 授業の計画 | 実際にコーパスを利用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを利用したデータの処理、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。 最初に講義形式でコーパスの利用法を説明した後は、毎回参加者による演習発表形式で授業を行う。 : 成績の評価 | 授業態度・期末レポート等を総合して評価する。 : 事前学習等 | 担当教員の前期の授業（Japan Studies １）を履修するなどして日本語コーパスの基本的な利用方法を身につけておくこと。
