![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[東京外大2017]] *Japan Studies 2：コーパス日本語学入門 -秋学期・木曜4限 -ogiso＠ogiso.net ←＠を@に直してください ---- -[[コーパス検索アプリケーション「中納言」 https://chunagon.ninjal.ac.jp/>https://chunagon.ninjal.ac.jp/]] **アクティブラーニングについて -次のいずれかの課題を行って【1月25日まで】に報告してください ++次の国語研イベントへの参加（予定も含む） -次のいずれかの課題の参加予定について【1月25日まで】に報告してください ++次の国語研イベントへの参加 ---https://www.ninjal.ac.jp/event/specialists/project-meeting/ ++講習会「ミニコーパスを作る」 ---2月1日(木)13:30～(16:00) 206PC教室 ++コーパスと多変量解析に関する課題 ---希望者に課題をメールでお知らせします。 **レポートについて -この授業で紹介したコーパスや分析手法を活用した日本語研究 --〆切：1月25日(木) --枚数：A4用紙で4枚以上～20枚以下 --メールで提出 **2018/1/18 ミニコーパスを作る(2) ／ レポートについて -自分で利用したテキストデータがあれば用意してきてください。 -ひまわり用データについて（補足） --[[近代雑誌のコーパス>http://pj.ninjal.ac.jp/corpus_center/cmj/]]（現在ではCHJに包含） --青空文庫 [[ひまわり用「青空文庫」パッケージ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%A5%C0%A5%A6%A5%F3%A5%ED%A1%BC%A5%C9%2F%A1%D8%C0%C4%B6%F5%CA%B8%B8%CB%A1%D9%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8]] --[[「国会会議録」パッケージ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%A5%C0%A5%A6%A5%F3%A5%ED%A1%BC%A5%C9%2F%A1%D8%B9%F1%B2%F1%B2%F1%B5%C4%CF%BF%A1%D9%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8]] -インポート機能でXMLファイルとひまわり用データを自動生成する --サンプルテキスト [[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]] -インポート機能で自動生成したXMLを修正する --属性の付与 --設定ファイルの修正 --再インデックス **日本語のテキストの性質に関する古典的な指標とその出し方 -語種比率 -TTR （Type Token Ratio）延べ異なり比 -名詞率 -MVR （Modifier / Verb Ratio） --[[樺島忠夫, 寿岳章子『文体の科学』1965年>http://iss.ndl.go.jp/books/R100000039-I000811523-00]] -平均文長 **2018/1/11 発表 第7回 / ミニコーパスを作る ***自分用のミニコーパスを作る （テキストデータは別途用意するのを前提として） -日本語コーパスのタグ付けのレベル |~テキストのレベル|ツール|必要な技術|h |~プレーンテキスト|テキストエディタ|grepと正規表現| |~構造化テキスト|ひまわり→ Excel|XML・マークアップの基礎，ピボットテーブル| |~形態素解析済みテキスト|UniDic+MeCab→中納言・ChaKi|形態素解析の知識，ChaKiの使い方| +プレーンテキスト：テキストエディタ（grepと正規表現） +構造化テキスト（旧「太陽コーパス」など）：XMLと「ひまわり」 +形態素解析済みテキスト（BCCWJ，CHJなど）：「中納言」相当←自分で作るには、Web茶まめ・ChaKi.net **プレーンテキストのミニコーパス - ->(2017/10/26 テキストデータとエディタ)【済】 **構造化テキストのミニコーパス ***XMLとひまわり -[[XML>https://ja.wikipedia.org/wiki/Extensible_Markup_Language]] --独自のタグが定義できる汎用のマークアップ言語 --多くのコーパスがXMLで記述されている。 ---「現代日本語書き言葉均衡コーパス」（BCCWJ）も「日本語歴史コーパス」もソースはXML cf.[[BCCWJのタグセット>http://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html]] ***ひまわり -[[全文検索システム「ひまわり」>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用 -基本的に文字列検索のみ（携帯論情報付きデータの検索にはあまり向かない） ***全文検索システム「ひまわり」について -[[ひまわり のダウンロードページ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] ***テキストデータを「ひまわり」で利用できるようにする -[[XMLファイルを自分で作る>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A1]] -[[インポート機能をつかって簡単に作る>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A12]] **2017/12/21 発表 第6回 / 主成分分析 -2件 ***主成分分析の解説 -（参考リンク）主成分分析 - 統計科学研究所 --http://www.statistics.co.jp/reference/software_R/statR_9_principal.pdf -（参考リンク）主成分分析の考え方 | Logics of Blue --https://logics-of-blue.com/principal-components-analysis/ -（参考リンク）はじめよう多変量解析～主成分分析編～ --https://www.slideshare.net/sanoche16/tokyor31-22291701 -日本語コーパスと主成分分析を利用した研究例 --http://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/P3-18.pdf --https://www.slideshare.net/jnlp/14-nlp-matsuda ***コーパスと統計的手法に関する参考資料 -（参考リンク）「統計処理環境Rで学ぶ 言語研究のための統計入門」 --https://www.slideshare.net/corpusling/basic-stat -（参考文献） --石川慎一郎・前田忠彦・山崎誠（編）(2010) 『言語研究のための統計入門』くろしお出版 **2017/12/14 発表 第5回 -2件 **2017/12/7 発表 第4回 -3件 //***(Excel) VLOOKUP関数 //自分で作ったミニデータベースを検索して値を取り出すようなことができる関数 // //-[[授業資料/vlookup関数]] // //***コロケーション強度 //単に頻度をみるのではなく、２つの語が本当に共起しやすいのかを図る指標を使う // //-[[授業資料/コロケーション強度]] // **2017/11/30 発表 第3回 ***特徴語抽出 特定のサブコーパスに特有の語彙を抽出するための指標を使う -[[授業資料/対数尤度比による特徴語抽出]] ***（ミニコーパス作成に向けて） -[[Web茶まめ>http://unidic.ninjal.ac.jp/chamame/]] -語種比率 -延べ語数異なり語数比率 --Type Token Raio --ピボットテーブルでの計算 ***[[ジップ（Zipf）の法則>https://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%83%E3%83%97%E3%81%AE%E6%B3%95%E5%89%87]] --順位×頻度≒定数 ***特徴語抽出 **2017/11/16 発表 第2回 -http://unidic.ninjal.ac.jp/chamame/ **2017/11/9 発表 第1回 **2017/11/2 対応分析（コレスポンデンス分析） ***前回補足・タグつき正規表現 -[[授業資料/タグつき正規表現]] ***対応分析 -多変量解析 --''対応分析''＝コレスポンデンス分析 -https://www.ic.nanzan-u.ac.jp/~urakami/pdf/RpdfW/v95_22w.pdf -https://www.macromill.com/service/data_analysis/d010.html ***クロス集計表からのコレスポンデンス分析 -「やはり」「やっぱり」「やっぱ」とレジスター yahari<-matrix(c( 1,2,0,9,4,0, 20,12,1,30,23,0, 31,54,13,17,31,2 ) ,3,6,byrow = T) colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書") rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ") #MASSパッケージを読み込む library(MASS) (yahari.ca<-corresp(yahari,nf=3)) biplot(yahari.ca) #固有値 固有値<-yahari.ca$cor^2 round(固有値,3) #累積寄与率 round(100*固有値/sum(固有値),2) 参考リンク：[[Ｒと対応分析>http://www1.doshisha.ac.jp/~mjin/R/Chap_26/26.html]] ***データをファイルから読み込む #ref(bccwjcore_adj_register.txt) --↑右クリックしてファイルとしてデスクトップに保存 setwd("C:/Users/ユーザー名/Desktop") x <- read.table("bccwjcore_adj_register.txt", header=T, row.names=1, sep=",", fileEncoding="UTF-8") #MASSパッケージを読み込む library(MASS) (x.ca<-corresp(x, nf=6)) #nf=行と列の数の小さいほうの値からさらに１引いた値 biplot(x.ca) -自分でデータを作るときにはファイルの文字コード（fileEncoding）に注意！ -コーパス研究での利用例：http://www.hino.meisei-u.ac.jp/is/oishi/Metaphor/JCLA12.pdf // //-玉葱の表記 // // negi<-matrix(c( // 42,93,2,129,90,7,0,1,12,23,47,0, // 33,36,0,65,87,6,4,36,11,0,61,6, // 5,30,5,33,9,1,0,1,8,0,2,0, // 97,336,0,215,225,39,0,3,15,0,92,4, // 3,23,0,31,86,0,3,0,0,0,28,2 // ) ,5,12,byrow = T) // colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書") // rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱") // // library(MASS) // (negi.ca<-corresp(negi,nf=5)) // biplot(negi.ca) // // 固有値<-negi.ca$cor 2 // round(固有値,3) // #累積寄与率 // round(100*固有値/sum(固有値),2) // **2017/10/26 テキストデータとエディタ ***テキストエディタと正規表現 -初心者におすすめの正規表現に対応したテキストエディタ（フリー） --Windows: Sakura Editor ---http://sakura-editor.sourceforge.net/ --Mac: Mi ---http://www.mimikaki.net/ ***授業用サクラエディタのダウンロード -サクラエディタ（正規表現ライブラリ同梱） [[sakura2.zip>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=sakura2.zip&refer=%C0%AE%EC%FE2017%2F%C6%FC%CB%DC%B8%EC%C6%FC%CB%DC%CA%B8%B3%D8%A4%CE%A4%BF%A4%E1%A4%CE%A5%B3%A5%F3%A5%D4%A5%E5%A1%BC%A5%BF]] -サンプルテキスト [[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]] ***テキストエディタの基礎 -検索・置換、grep --検索で初出行を調べる --置換で用例数を数える --grepで用例リストを作る --タグジャンプで文脈を確認する --サブフォルダのgrep -[[授業資料/覚えておきたいショートカットキー]] ***正規表現 -''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する --エディタでは置換・検索・grepで利用できる （エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている） --特殊な文字（メタ文字）はすべて半角 //--特殊な文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2 -[[授業資料/正規表現]] ***正規表現に関する参考資料 [#w86de08b] -サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html -正規表現に関する本 [[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]] #amazon(4873114500) #amazon(4873113598) #clear **2017/10/19 Rを使ってみる（2） -Rの使い方全般に関する参考資料：[[[連載]フリーソフトによるデータ解析・マイニング (同志社大・金明哲先生)>ftp://tech.obihiro.ac.jp/suzuki/mjin_R.pdf]] ***発表順 ***前回までの復習 -クラスター分析 **2017/10/12 （前期の復習）中納言による検索と集計 ／ Rを使ってみる ***（前期の復習）中納言による検索と集計 -前期 [[東京外大2017/JapanStudies1]] の復習 --BCCWJの形態論情報 --「中納言」の検索方法 --ピボットテーブルによる検索結果の集計 ***Rを使ってみる -[[R>https://ja.wikipedia.org/wiki/R%E8%A8%80%E8%AA%9E]]とは --Rのダウンロード https://cran.ism.ac.jp/bin/windows/base/ -中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計 | |雑誌|書籍|新聞|ブログ|知恵袋|白書| |ヤッパ|1|2||9|4|| |ヤッパリ|20|12|1|30|23|| |ヤハリ|31|54|13|17|31|2| ***独立性の検定(χ二乗検定) -ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T) chisq.test(data) 帰無仮説（H0）：二つのレジスターで「やはり」類の使用頻度には差がない 検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される ＝二つのレジスターで差がある（レジスターと関係がないのに偶然こうなる可能性は5%以下） -参考： http://mjin.doshisha.ac.jp/R/Chap_12/12.html -参考： http://www.weblio.jp/content/%E7%8B%AC%E7%AB%8B%E6%80%A7%E3%81%AE%E6%A4%9C%E5%AE%9A -参考： http://d.hatena.ne.jp/himaginary/20170829/Redefine_Statistical_Significance ***クラスター分析 -参考：https://www.albert2005.co.jp/knowledge/data_mining/cluster/hierarchical_clustering --「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離（どのレジスター同士が似ているか） yahari<-matrix(c( 1,2,0,9,4,0, 20,12,1,30,23,0, 31,54,13,17,31,2 ) ,3,6,byrow = T) colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書") rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ") yahari <- t(yahari) #行と列を入れ替え yahari.d<-dist(yahari) #距離の計算 yahari.d result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析 plot(result,hang=-1) #デンドログラムを描く -参考：http://mjin.doshisha.ac.jp/R/Chap_28/28.html #amazon(4274065707) #clear **2017/10/05 イントロダクション -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/ -コーパス --[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]] --[[「現代日本語書き言葉均衡コーパス（BCCWJ）」>http://pj.ninjal.ac.jp/corpus_center/bccwj/]] --BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]] -ツール --[[Web茶まめ>http://chamame.ninjal.ac.jp]] ---[[MeCab>http://taku910.github.io/mecab/]] ---[[UniDic>https://ja.osdn.net/projects/unidic/]] --[[茶器 Chaki.NET>https://ja.osdn.net/projects/chaki/]] --[[R>https://www.r-project.org/]] ***[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=2016%B8%E5%B4%FC%A1%A6%C5%EC%B5%FE%B3%B0%B9%F1%B8%EC%C2%E7%B3%D8%B6%B5%CC%B3%A5%B7%A5%B9%A5%C6%A5%E0%20-%2053M0862-Japan%20Studies%20%A3%B2.pdf&refer=%C5%EC%B5%FE%B3%B0%C2%E72016%2F%B8%E5%B4%FC]]より : 講義・演習の別 | 演習 : 授業の目標 | 日本語コーパスを研究に利用することができるようになるためのやや高度な知識と技術を身につける。 : 授業の概要 | 日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を利用した調査研究と発表を行う。 : 授業の計画 | 実際にコーパスを利用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを利用したデータの処理、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。 最初に講義形式でコーパスの利用法を説明した後は、毎回参加者による演習発表形式で授業を行う。 : 成績の評価 | 授業態度・期末レポート等を総合して評価する。 : 事前学習等 | 担当教員の前期の授業（Japan Studies １）を履修するなどして日本語コーパスの基本的な利用方法を身につけておくこと。
