#author("2023-06-18T12:27:05+00:00","default:ogiwiki","ogiwiki") [[九大2023]] *九州大学:国語学演習 III / 日本語史資料研究 III [#td0ed75f] **コーパス日本語学 [#f20f4b84] -前期月曜2限:10:30-12:00 -Mail: ogiso@ogiso.net -[[中納言>https://chunagon.ninjal.ac.jp]] https://chunagon.ninjal.ac.jp -授業はTeamsミーティングで行います。授業のURLは下記の[[Moodle>https://moodle.s.kyushu-u.ac.jp/]]の[[授業コースのページ>https://moodle.s.kyushu-u.ac.jp/course/view.php?id=51543]]で確認してください。毎回同じアドレスです。 --&color(red){https://moodle.s.kyushu-u.ac.jp/course/view.php?id=51543}; -[[文学部・人文科学府 授業日程表>https://www2.lit.kyushu-u.ac.jp/doc/c-schedule/lesson_r05.pdf]] ------ -''質問コーナー''(授業のことで質問があったら下記に記入してください。次の授業時に回答します。) --https://moodle.s.kyushu-u.ac.jp/mod/forum/view.php?id=1068623 -&color(red){7月10日は海外出張([[DH2023>https://dh2023.adho.org/]])のため休講にします。}; **6月19日(第9回)Excel関数の利用 [#c17ec337] レポートテーマ: ***ランダムサンプリング調査 [#eeb56a21] -大量に用例があり、調査内容からすべて対象にできない場合 -ランダムに並べ替え→先頭n例を調査対象に --ランダムな数字の列: =RAND() --ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される -例:「られる」「全然」 ***出現サンプル数の調査(重複の削除) [#ma197696] 用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合 -たとえば同一サンプル内での繰り返しが多いものを調査するとき(例:一人称代名詞など) --Excel「データ」→「重複の削除」 -例:「俺・僕・私」 ***Excelの文字列関数 [#r56f9082] 集計に必要な情報をフィールドから切り出すことで集計に使う -[[授業資料/EXCELの文字列関数]]参照 -(参考)Mac版Excelと文字種 --フィルタのオプションで平仮名と片仮名が区別されないので、文字コードで区別する ---=unicode(文字列) :文字列の先頭文字の文字コード(Unicode、10進数)を返す ***VLOOKUP関数の利用 [#tf76047b] -[[授業資料/VLOOKUP関数]]参照 ***辞書引き集計 [#k380e1c9] 自分で作った(または誰かが用意してくれた)辞書データ(コーパスの見出し語に対する追加情報)を利用する -例:形容詞の意味分類付与 --(参考)分類語彙表 https://ccd.ninjal.ac.jp/goihyo.html ***「中納言」インラインタグ機能の利用 [#h1e23ecf] -前後文脈に埋め込んだタグから、必要な情報を取り出して利用 --エディタと正規表現を使うと便利 ---(参考)[[授業資料/正規表現]] ***コーパスの語彙表とその利用 [#t020e0d6] -語彙表(語彙頻度表)≠語数表 -BCCWJ『現代日本語書き言葉均衡コーパス』:『https://clrd.ninjal.ac.jp/bccwj/bcc-chu.html -CHJ『日本語歴史コーパス』統合語彙表: http://doi.org/10.15084/00003541 -CEJC『日本語日常会話コーパス』:https://www2.ninjal.ac.jp/conversation/cejc/cejc-wc.html **6月12日(第8回) 調整頻度の計算 [#jc729a8c] ***BCCWJ利用の落とし穴 [#le968f3e] -BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない --レジスターによって母集団の年が違っている ---レジスターの偏りを年代の偏りと勘違いしないこと --30年あるのは白書・ベストセラー・国会会議録など一部のものだけ #ref(bccwj-wc.png,,50%) -もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない --→調整頻度の計算 ---cf.人口あたりの事故件数,1平方キロあたりの…etc. -BCCWJの語数 --https://clrd.ninjal.ac.jp/bccwj/bcc-chu-suw.html -短単位語数表をピボットテーブルで集計 --BCCWJ短単位語数表:http://doi.org/10.15084/00003226 ***調整頻度(pmw) [#v1c12e52] -調査対象がどのくらい出てきやすいかを比較するときには、どのコーパスでもコーパスのサイズを考慮して調整頻度で測る必要がある。 --特にサイズが異なる単位で集計して比較する際には必須。 --割合を比較する(%で見る)だけなら(これまでに見てきたように)調整頻度を出す必要はない。 -粗頻度を総語数で割る --レジスターごとの語数データ:中納言ページの「語数について」のリンク先からExcel形式でダウンロードできる ---語数ファイルをピボットテーブルで集計して分母にする -調整頻度には100万語あたりの頻度(pmw)がよく使われる --粗頻度/コーパス総語数*1000000 ---数字が小さくなりすぎないようにするため -例:「パソコン」「立ち上げる」 ***各コーパスの語数表 [#mee53d9d] -BCCWJ --短単位語数表Excel http://doi.org/10.15084/00003226 --長単位語数表Excel http://doi.org/10.15084/00003224 -[[CEJC>https://www2.ninjal.ac.jp/conversation/cejc.html]] --[[CEJC短単位語数表_品詞構成表_語種構成表_ver202209.zip>https://www2.ninjal.ac.jp/conversation/cejc/data/CEJC%E7%9F%AD%E5%8D%98%E4%BD%8D%E8%AA%9E%E6%95%B0%E8%A1%A8_%E5%93%81%E8%A9%9E%E6%A7%8B%E6%88%90%E8%A1%A8_%E8%AA%9E%E7%A8%AE%E6%A7%8B%E6%88%90%E8%A1%A8_ver202209.zip]] -[[CHJ>https://clrd.ninjal.ac.jp/chj/chj-wc.html]] --短単位語数表Excel(バージョン2022.03) https://clrd.ninjal.ac.jp/chj/doc/CHJ_SUW_WC_202203.xlsx --長単位語数表Excel(バージョン2022.03) https://clrd.ninjal.ac.jp/chj/doc/CHJ_LUW_WC_202203.xlsx -[[SHC>https://clrd.ninjal.ac.jp/shc/stats.html]] --短単位語数表CSV https://clrd.ninjal.ac.jp/shc/doc/SHC_WC_202305.csv ***クロス集計表の調整頻度をまとめて計算 [#pcdd34eb] -例:「矢張り」 **6月5日(第7回) Excelによる検索結果の集計(2) [#zb4ee830] ***ピボットテーブルの使い方(復習) [#c297a43e] +ダウンロード +ダブルクリックしてExcelで開く +ピボットテーブル --ピボットグラフ -例:CEJCの副詞「矢張り」の語形 --性差 --年齢差 ***複数の検索結果の結合 [#ged85142] [[ショートカットキー>授業資料/覚えておきたいショートカットキー]]を活用すると便利 -[[授業資料/覚えておきたいショートカットキー]] -Ctrl((Macの場合はCommand))+End((EndキーはノートPCではしばしばFn+→)) ファイルの末尾/表のいちばん右下に移動 -Shift+Ctrl+End((EndがFn+→の場合は、Shift+Ctrl+Fn+→を同時押し)) 〃範囲を選択 +表をコピー --Ctrl+Home((HomeキーはノートPCではしばしばFn+←))(表の左上へ移動), ↓(列名は選択しないようにするため1行下へ),Shift+Ctrl+End, Ctrl+C(コピー) +コピーした表を既存の表の下に貼り付け --Ctrl+↓(表の一番下の行に移動), ↓(1行下へ), Ctrl+V(貼り付け) -例:SHC ワイン・葡萄酒 ※単位数が違うので検索条件式でも一つの式では書けない キー: 語彙素="ワイン"; キー: 語彙素="葡萄" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; 一度にピボットテーブルで集計できるように一つの表にまとめる -※必ず表をくっつけること(空行を入れるとそこで表が切れていると認識される) ***複数の検索結果を一つにまとめる別の方法 [#jf603a9c] -「検索条件式ごとに出力ファイルを分割する」を外して検索条件式で一度にダウンロード(ZIPファイルの中のcsvファイルを利用) --たくさんまとめて調べたい場合には特に便利 キー: 語彙素="ビール"; キー: 語彙素="ワイン"; キー: 語彙素="ブランデー"; キー: 語彙素="ウイスキー"; キー: 語彙素="焼酎"; キー: 語彙素="葡萄" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; キー: 語彙素="日本" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; ***中納言検索課題 [#p589be99] -[[中納言検索課題PDF>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1100534]] **5月29日(第6回) 「中納言」の使い方(3)/Excelによる検索結果の集計(1) [#v3026d16] -(前回資料)[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073061]] 4~ -「中納言」 https://chunagon.ninjal.ac.jp/ --BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt --CEJC: https://chunagon.ninjal.ac.jp/cejc --CHJ: https://chunagon.ninjal.ac.jp/chj --SHC: https://chunagon.ninjal.ac.jp/shc ***復習 [#e895acf6] -動詞「食べる」の前方3語以内にくる名詞 -動詞「食べる」の前方3語以内にくる「を」で格表示された名詞 ***位置情報と用例へのパーマリンク [#fecf8e21] -位置検索 --''サンプルID,開始位置''((サンプル先頭からの文字数を10倍したもの))のセットでコーパス上の用例の位置を一意に指定できる --位置検索での区切り記号はカンマのほかタブやスペースでも可 -用例へのpermalink --CHJ源氏冒頭の「やんごとなし」:https://chunagon.ninjal.ac.jp/chj/permalink?unit=short&position=20-%E6%BA%90%E6%B0%8F1010_00001,330 ***検索条件式の利用 [#r945c6c0] キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1" AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF" ↓これだけでもいい(WITH OPTIONS 以下は式で指定がない場合、検索画面での設定に従う) キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー ***OR検索 [#q9b90c80] キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: (語彙素="言葉" OR 語彙素="言語") ON 1 WORDS FROM キー ***周辺語検索 [#yaad8b13] -「美しい」の前後3語以内に出現する名詞(平安仮名文学) キー: 品詞 LIKE "名詞%" AND 共起: 語彙素="美しい" BETWEEN -3 AND 3 WORDS FROM キー IN subcorpusName="平安-仮名文学" AND core="true" ***検索結果のダウンロードとExcelでの利用 [#y34bd27c] -並べ替え(ソート) -フィルター(絞り込み) --テキストフィルター --多重フィルター(複数の条件指定) -ピボットテーブル★ --ピボットグラフ **5月22日 休講 [#kd905cbd] //-&color(red){5月22日は休講です。}; **5月15日(第5回)コーパス検索アプリケーション「中納言」(2) [#z4b1a0b6] -(前回資料)[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073061]] を引き続き使います(3.3~) -「中納言」 https://chunagon.ninjal.ac.jp/ --BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt --CHJ: https://chunagon.ninjal.ac.jp/chj **5月7日(第4回)コーパスの形態論情報(2)/コーパス検索アプリケーション「中納言」(1) [#g42ea077] -(前回資料)[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073061]] を引き続き使います ***品詞体系 [#d6776112] -BCCWJ・CHJは[[UniDic>https://ja.osdn.net/projects/unidic/]]の品詞体系にもとづく(BCCWJのために開発されたのがUniDic) --[[授業資料/UniDicの品詞体系]] --[[授業資料/UniDicの見出し語階層]] ***形態素解析を試してみる [#gf5bf622] -[[Web茶まめ>https://chamame.ninjal.ac.jp/]] --https://chamame.ninjal.ac.jp/ ***形態素解析とその仕組み [#hf81dcf2] -[[授業資料/形態素解析]] ***コーパス検索アプリケーション「中納言」(1) [#y685eed6] -[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073061]] -アカウント確認 --授業アカウント配布 -リンク --「中納言」 https://chunagon.ninjal.ac.jp/ ---BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt ---CHJ: https://chunagon.ninjal.ac.jp/chj **5月1日(第3回)コーパスの形態論情報/(コーパスの設計(2)) [#v0fcf688] ***コーパスの形態論情報(1) [#w3c3c79b] -BCCWJの形態論情報 --https://ccd.ninjal.ac.jp/bccwj/morphology.html --他のコーパスでもほぼ共通 -短単位と長単位 --[[(スライド)長単位と短単位>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073059]] 参照 --[[(Wordファイル)長単位と短単位・資料>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073065]] 単位切りの例 --(参考)動画:コーパス検索システムの言語単位『短単位』 https://youtu.be/s5akpYOzNIU -コーパス検索アプリケーション「中納言」と短単位と長単位 --[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1073061]] ※今回は早めに終わります。CEJCの設計については次回までに下記の参考動画を見ておいてください。 -CEJCの設計 --[[言語学レクチャーシリーズ「コーパス言語学 ―話し言葉コーパスの世界―」 小磯 花絵 >https://www.youtube.com/watch?v=Vib3Ccvsdgw&list=PLZfZgVvFbh1a3zOK9Z2OJk6mA0olmcw3u]] (Youtube) **4月24日(第2回)コーパスの設計 [#v891cde1] ***コーパスとは [#x2353496] --以下、[[スライド>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=1068389]](Moodle)参照 :狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ) :広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。 -さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録) --参考:[[「ひまわり」パッケージ>https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -Web上のデータ --検索サイトの利用 --WAC(Web as Corpus) -この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス(BCCWJ)」「日本語歴史コーパス(CHJ)」「昭和・平成書き言葉コーパス(SHC)」「日本語日常会話コーパス(CEJC)」 ***「現代日本語書き言葉均衡コーパス」(BCCWJ)の構成【省略版】 [#ia6f0eb4] -https://clrd.ninjal.ac.jp/bccwj/ -均衡コーパス(Balanced corpus) --「バランスがとれている」「代表性」とは? --コーパスの母集団の設定とサンプリング --BCCWJのサブコーパス --可変長と固定長 ***参考リンク [#o1a9da5c] -英語のコーパス リファレンス --[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/ --[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/ -現代日本語書き言葉均衡コーパス(BCCWJ) --[[現代日本語書き言葉均衡コーパス:概要>https://clrd.ninjal.ac.jp/bccwj/index.html]] --BCCWJの基本設計:https://clrd.ninjal.ac.jp/bccwj/basic-design.html --サンプリング:https://clrd.ninjal.ac.jp/bccwj/sampling.html --XMLによる電子化:https://clrd.ninjal.ac.jp/bccwj/XML.html ***「日本語歴史コーパス」(CHJ)の構成 [#x9f78d1c] -https://clrd.ninjal.ac.jp/chj/ -残された資料に限りがある(そもそも偏りがある)歴史的なコーパスの場合、現代語コーパス同様の「代表性」を求めることは困難 :近世以前|残されている資料が少なく、できるだけ(可能なら全部)コーパスに入れたい :近世(後期)以降|偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい(作品など資料単位で調査したい) -[[『日本語歴史コーパス』>https://clrd.ninjal.ac.jp/chj/]]の中身 --中世以前は重要な資料をまるごと対象に --近世の洒落本・人情本:年代・著者(・地域)のバランスを取って作品単位でサンプリング ***近代語コーパスの場合 [#p0de8288] -[[近代雑誌コーパス>https://clrd.ninjal.ac.jp/cmj/]](現在はCHJの一部) --多様な記事を含む「総合雑誌」を対象とすることでバランスを確保 --発行年での大まかなサンプリング ---[[「太陽コーパス」>https://clrd.ninjal.ac.jp/cmj/taiyou/index.html]]:8年おきに12冊ずつを対象 --その後の雑誌コーパスも8年おきに収録 ---明六雑誌・東洋学芸雑誌・国民之友・太陽(・中央公論・文藝春秋) -近代小説 --複数の有識者が日本語資料として選定・投票した結果(1980年代に作成した資料)をもとにサンプリング --https://www.jpling.gr.jp/taikai/happyo/yosi/2019/b/yosi_2019b_e3.pdf ***「昭和・平成書き言葉コーパス」(SHC)の構成 [#vfbcaa59] -https://clrd.ninjal.ac.jp/shc/ ※準備中 -CHJの後を受けて現代までを通時的に研究するためのコーパス。1933年以降、8年おき11か年分(1933・1941・1949・1957・1965・1973・1981・1989・1997・2005・2013)を収録。 :雑誌|1933~1957 年刊の『中央公論』と1965~2013 年刊の『文芸春秋』(8年おき11か年分) :ベストセラー書籍|1933年以降、8年おき11か年のベストセラー書籍 :新聞|1933年以降、8年おき11か年の『読売新聞』奇数月2日の朝刊1冊 **4月17日(第1回)イントロダクション/日本語コーパスの紹介 [#wdd4ab2f] ***イントロダクション [#z7ffa4ea] -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 https://www.ninjal.ac.jp/ ---[[言語資源開発センター>https://clrd.ninjal.ac.jp/]] ***授業内容等の確認 [#e55ee18f] -[[シラバス>https://www2.lit.kyushu-u.ac.jp/~syllabus/cgi-bin/table-odd.cgi?thisyear=2023&num=1310203&show=S1110000&big=B00000&each=1]]の確認 --この授業の目的 --授業の進め方 --評価方法 -受講者アンケート --関心のある分野について --PC等のスキルについて ***「中納言」アカウントについて [#t6709ede] -「授業アカウント」について -「中納言」オンライン利用申込み --https://chunagon.ninjal.ac.jp/useraccount/register ***授業で利用する主なソフトウェア・Webアプリケーション(予定) [#i06478d2] |ソフトウェアの種類・名前|利用目的|h |[[コーパス検索アプリケーション''「中納言」''>https://chunagon.ninjal.ac.jp/]]|コーパスの検索| |表計算ソフト''Excel''|ピボットテーブルによる分析・グラフ作成| |[[Web茶まめ>https://chamame.ninjal.ac.jp/]]|形態素解析| |[[テキストエディタ ''VisualStudio Code ''>https://code.visualstudio.com/]]|テキストデータの作成・整備、正規表現を使った検索など| |[[R>https://www.r-project.org/]]|データの統計分析| ***授業内容デモ [#kc4ae1c5] -コーパスの利用 --[[「現代日本語書き言葉均衡コーパス(BCCWJ)」>https://clrd.ninjal.ac.jp/bccwj/]] --[[「日本語日常会話(CEJC)」>https://www2.ninjal.ac.jp/conversation/cejc.html]] --[[「日本語歴史コーパス(CHJ)」>https://clrd.ninjal.ac.jp/chj/]] ---[[中納言>https://chunagon.ninjal.ac.jp]] -Excelによる集計(ピボットテーブル) -形態素解析 --[[Web茶まめ>https://chamame.ninjal.ac.jp]] -テキストエディタと正規表現 ***(参考動画) [#v4246970] -(参考)国語研オープンハウス2021 https://www2.ninjal.ac.jp/openhouse/2021/ --動画:『日本語歴史コーパス』のかんたんな使い方─犬派?猫派?編─ https://youtu.be/672LMkV6GxU -言語学レクチャーシリーズ https://www.ninjal.ac.jp/education/videolecture/ --動画:[[コーパスを使って日本語の歴史を探る>https://www.youtube.com/watch?v=dEi0kKdyrWk&list=PLZfZgVvFbh1a3zOK9Z2OJk6mA0olmcw3u]]