![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2024-07-12T09:02:55+09:00","default:ogiwiki","ogiwiki") #author("2024-07-12T15:06:27+09:00","default:ogiwiki","ogiwiki") [[FrontPage]] *日本語学講義Ⅱ（コーパス日本語学入門） [#f20f4b84] -[[学年暦>https://www.univ.gakushuin.ac.jp/life/docs/%E4%BB%A4%E5%92%8C6%282024%29%E5%B9%B4%E5%BA%A6%E5%AD%A6%E5%B9%B4%E6%9A%A6_%E5%AD%A6%E9%83%A8%E3%83%BB%E5%A4%A7%E5%AD%A6%E9%99%A2.pdf]] -前期金曜4限：15:10-16:55 -Mail: ogiso@ogiso.net --[[Moodleの授業ページ>https://moodle.univ.gakushuin.ac.jp/course/view.php?id=18365]] -[[中納言>https://chunagon.ninjal.ac.jp]] **&color(red){レポート提出について}; [#da47d162] -締切：8月12日（月） -分量：A4用紙で3～10枚 -提出先：下記Moodleから提出 --https://moodle.univ.gakushuin.ac.jp/mod/assign/view.php?id=209258 --都合によってメールで送る場合はメール本文とレポートファイルの両方に氏名・学籍番号を明記すること -埋め込みデータによってWordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ること -本文（WordまたはPDF）のほかにExcelのデータを添付しても良い **オンラインで開催する授業回について [#ge16656e] -下記の授業はオンライン（zoom）で実施します。原則として授業時間中にリアルタイムで行います（オンデマンドではありません）。 --5月10日【済】※録画はMoodle経由で確認してください。 --5月31日【済】 --6月07日【済】 --6月14日【済】 -参加URLは[[Moodleの授業ページ>https://moodle.univ.gakushuin.ac.jp/mod/forum/discuss.php?d=47960#p110513]]で確認してください。 **07/12 第13回 タグ付き正規表現／Wordの使い方 [#x843bf68] -質問回答 ***練習用テキストデータ [#a43b464c] -練習用サンプルデータ「こころ」 [[kokoto.txt>https://www.dropbox.com/s/r89ahi6goxy5a2c/kokoro.txt?dl=1]] -青空文庫の夏目漱石作品セット [[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]] ***タグ付き正規表現 [#z9ef50e5] -走[らりるれろ] で検索した結果を置換するにはどうしたらいいか --次のように置換するととんでもないことに… ---検索文字列：走[らりるれろっ] ---置換文字列：★走[らりるれろっ] -タグ付き正規表現：カッコ（半角丸カッコ）と\1（\2，\3…）を使う -[[授業資料/タグつき正規表現]] --後方参照 ***「中納言」インラインタグ機能とエディタの利用 [#u3e76aa2] -前後文脈に埋め込んだタグから、必要な情報を取り出して利用できる --テキストエディタと正規表現を使うと便利 **Wordの使い方 [#yaa3050a] -ここでは簡単に説明します。Moodleの録画（Wordの使い方）を参考にしてください。 **07/05 第12回 テキストエディタと正規表現 [#w17c15a6] ***テキストエディタ [#q7ae852c] -テキストエディタとはどんなものか --[[授業資料/テキストエディタ]] ***テキストデータと文字コード [#n2e44ea1] -[[授業資料/テキストデータとは]] -参考：[[とほほの文字コード入門>https://www.tohoho-web.com/ex/charset.html]] ***練習用テキストデータ [#a43b464c] -練習用サンプルデータ「こころ」 [[kokoto.txt>https://www.dropbox.com/s/r89ahi6goxy5a2c/kokoro.txt?dl=1]] ***正規表現を使ってみる [#qd06a22e] VSCodeの検索で「.*」をクリックして正規表現モードをオン -''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する --テキストエディタでは置換・検索・grepで利用できる （エディタ以外にもさまざまなアプリケ－ションやプログラミング言語で利用されている） --特殊な文字（メタ文字）はすべて半角 //--特殊な文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2 ***正規表現のいろいろ [#q514651f] -[[授業資料/正規表現]] --文字クラス [ ] --文字クラスの否定（補集合）[^ ] --繰り返し ? + * --グループ化 () --or（論理和） | --文頭 ^、文末 $ ***正規表現の応用 [#c7a3ea2d] -カタカナ語 --カタカナ（外来語）の形容動詞語幹 -送りがなの揺れ（行う／行なう） -会話文中（"「"で始まる文中）の用例を検索する -同一文中での共起 --全然～ない。 --もし～なら（ば） -データの整形 --「中納言」の検索結果を置換で整形、必要な情報を取り出す **06/28 第11回 VLOOKUP関数／テキストエディタ [#k186a960] ***レポートテーマについて（続き） [#m7d6a4bc] -質問について（リアクションペーパー） --検索方法（各コーパス・形態論情報・「中納言」） --集計方法（Excel） --レポートテーマ ------ ***VLOOKUP関数の利用 [#w4b76b16] -辞書引き集計 --自分で作った（または誰かが用意してくれた）辞書データ（コーパスの見出し語に対する追加情報）を利用する -[[授業資料/VLOOKUP関数]]参照 ***コーパスの語彙表 [#sb08c3df] --語数表とは違ってどの語が何例ずつあるか集計した表（巨大な表で開くのがたいへんなので注意。本当はデータベースに入れて使ったほうがいい） --BCCWJ ---短単位語彙表(Version 1.1) https://doi.org/10.15084/00003219 ---長単位語彙表(Version 1.1) https://doi.org/10.15084/00003213 --CHJ ---『日本語歴史コーパス』統合語彙表（バージョン2024.03） https://doi.org/10.15084/0002000263 --SHC ---『昭和・平成書き言葉コーパス』短単位語彙表（バージョン2023.05） https://doi.org/10.15084/0002000043 --CEJC ---https://www2.ninjal.ac.jp/conversation/cejc/cejc-wc.html ***語彙表とコロケーション強度 [#ne9e4500] -[[授業資料/コロケーション強度]]参照 --例：「玉葱」と共起する動詞 ---[[collocation_sample.xlsx>https://www.dropbox.com/s/t1i0ii6r0hns3oe/collocation_sample.xlsx?dl=1]] --（応用）VLOOKUPで、語彙表から調査対象語のコーパス中の頻度を引いてくる **テキストエディタの準備 [#w98ab816] ***準備：VS Codeのインストールと設定 [#n73b9aa1] +VS codeのインストール ★次週までにこれだけはやっておく --https://code.visualstudio.com/ +拡張機能 Japanese Language Packの追加 --参考：https://web.yokkaichi-u.ac.jp/yucc/archives/1542 +ファイルオープン時にエンコーディングを自動判別するよう設定 --参考：https://www.javadrive.jp/vscode/setting/index3.html ***デモ [#ob57bd7c] Excelで中納言検索結果の列を丸ごとコピーし、エディタで整形した後、Excelに貼り付ける -前後文脈の整理（キーが現れた文以外を消す） --前文脈：.+#((を空文字列に置換。以下同じ)) 後文脈：#.+ -値の一部を取り出す --品詞大分類：-.+ ジャンル大分類：/.+ ※慣れると文字列関数よりも早くて便利 **06/21 第10回 関数の利用／レポートテーマについて [#ed6099de] ***レポートテーマについて [#n69e8ba4] -リアクションペーパーで提出 ***集計用の列を自分で用意する（復習） [#z5dbab1d] -応用：用法分類などなど -検索例：動植物名の表記 --文字種（ひらがな・カタカナ・漢字）別集計 ---フィルタ機能を上手く使って「文字種」列を作る ---Macではフィルタの際に平仮名と片仮名が区別されないので、関数を使って文字コードで区別する必要がある（後述） ***Excelの文字列関数 [#r56f9082] 集計に必要な情報をフィールドから切り出すことで集計に使う -[[授業資料/EXCELの文字列関数]]参照 -Mac版Excelと文字種 --フィルタのオプションで平仮名と片仮名が区別されないので、文字コードで区別する ---unicode関数 =unicode(文字列) で文字列の先頭文字の文字コード（Unicode、10進数）を返す **06/14 第9回 調整頻度の計算(2)／関数の利用／レポートテーマについて【オンライン】 [#xa450914] ***クロス集計表の調整頻度をまとめて計算 [#pcdd34eb] -例：「矢張り」（前回続き） ***ランダムサンプリング調査 [#j4516bb3] -大量に用例があり、調査内容からすべて対象にできない場合 -ランダムに並べ替え→先頭n例を調査対象に --ランダムな数字の列： =RAND() --ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される -例：「られる」「全然」 ***出現サンプル数の調査（重複の削除） [#lb271de6] 用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合 -たとえば同一サンプル内での繰り返しが多いものを調査するとき（例：一人称代名詞など） --「データ」→「重複の削除」 -例：「俺・僕・私」 ***集計用の列を自分で用意する [#ccae4a87] -応用：用法分類などなど -検索例：蒲公英・向日葵・蓮華 --文字種（ひらがな・カタカナ・漢字）別集計 ---フィルタ機能を上手く使って「文字種」列を作る ---Macではフィルタの際に平仮名と片仮名が区別されないので、関数を使って文字コードで区別する必要がある（後述） ***レポートテーマについて [#c99378d7] -普段から見聞きする言葉に気をつけるとともに、他の授業や書籍の情報も活用する -ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく -参考 --[[〈参考〉 国語に関する世論調査の結果について（文化庁）>http://www.bunka.go.jp/tokei_hakusho_shuppan/tokeichosa/kokugo_yoronchosa/]] --[[〈参考〉国語研・ことばの疑問>https://kotobaken.jp/qa/]] --[[〈参考〉NHK放送文化研究所・ことばの研究>https://www.nhk.or.jp/bunken/research/kotoba/index.html]] -例((実際に検索してみてできそうなものと難しそうなものが含まれています)) --表記 ---「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差 ---「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？文体差？ ---「栄養／営養」「仕合わせ／幸せ」 ---「石鹸」「石けん」「せっけん」、「障碍」「障害」「障がい」・・・常用漢字表外字を含む漢語の表記の揺れ --類義語・対義語 ---「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い） ---「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差 ---「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析 --語形、語法 ---「好ましい」「好もしい」・・・語形の揺れと文体差 ---「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件 ---「婦人／女性」「普通／尋常」 --意味変化 ---「美しい」「すごい」「やばい」、「米」 **06/07 第8回 Excelによる検索結果の集計(2)／調整頻度の計算(1)【オンライン】 [#xa450914] ***ピボットテーブルの使い方（復習） [#c297a43e] -例：CEJC 副詞「あまり」の語形（「やはり」との比較） -例：食うと食べる／CHJ・SHC・CEJC ***複数の検索結果の結合 [#ged85142] -複数回の検索結果をまとめて一つのピボットテーブルで集計したい場合の対処：''表を下にくっつける'' [[ショートカットキー>授業資料/覚えておきたいショートカットキー]]を活用すると便利 -[[授業資料/覚えておきたいショートカットキー]] --Ctrl((Macの場合はCommand))+End((EndキーはノートPCではしばしばFn+→)) ファイルの末尾/表のいちばん右下に移動 --Shift+Ctrl+End((EndがFn+→の場合は、Shift+Ctrl+Fn+→を同時押し)) 〃範囲を選択 +表をコピー --Ctrl+Home((HomeキーはノートPCではしばしばFn+←))（表の左上へ移動）, ↓（列名は選択しないようにするため1行下へ）,Shift+Ctrl+End, Ctrl+C（コピー） +コピーした表を既存の表の下に貼り付け --Ctrl+↓（表の一番下の行に移動）, ↓（1行下へ）, Ctrl+V（貼り付け） -例：SHC ワイン・葡萄酒 ※単位数が違うので検索条件式でも一つの式では書けない キー: 語彙素="ワイン"; キー: 語彙素="葡萄" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; 一度にピボットテーブルで集計できるように一つの表にまとめる -※必ず表をくっつけること（空行を入れるとそこで表が切れていると認識される） ***複数の検索結果を一つにまとめるもう一つの方法 [#jf603a9c] -「検索条件式ごとに出力ファイルを分割する」を外して検索条件式で一度にダウンロード（ZIPファイルの中のcsvファイルを利用） --たくさんまとめて調べたい場合には特に便利 キー: 語彙素="ビール"; キー: 語彙素="ワイン"; キー: 語彙素="ブランデー"; キー: 語彙素="ウイスキー"; キー: 語彙素="焼酎"; キー: 語彙素="葡萄" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; キー: 語彙素="日本" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; ***BCCWJ利用の落とし穴 [#le968f3e] -BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない --レジスターによって母集団の年が違っている ---レジスターの偏りを年代の偏りと勘違いしないこと --30年あるのは白書・ベストセラー・国会会議録など一部のものだけ #ref(bccwj-wc.png,,50%) ''どのコーパスにも向き不向きがあり、設計を踏まえた適切な利用が必要'' -例：「立ち上げる」 ***調整頻度の計算 [#s73e3d75] -もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない --→調整頻度の計算 ---cf.人口あたりの事故件数，１平方キロあたりの…etc. -BCCWJの語数 --https://clrd.ninjal.ac.jp/bccwj/bcc-chu-suw.html -短単位語数表をピボットテーブルで集計 --BCCWJ短単位語数表：http://doi.org/10.15084/00003226 ***調整頻度（pmw） [#v1c12e52] -調査対象がどのくらい出てきやすいかを比較するときには、どのコーパスでもコーパスのサイズ（分母となる語数）を考慮して調整頻度で測る必要がある。 --特にコーパスでサイズが統制されていないもの（レジスター、性別、年齢、etc.）で集計して比較する際には必須。 --たんに複数の語の割合を比較する（％で見る）だけなら（これまでに見てきたように）調整頻度を出す必要はない。 -粗頻度を総語数で割る --レジスターごとの語数データ：中納言ページの「語数について」のリンク先からExcel形式でダウンロードできる ---語数ファイルをピボットテーブルで集計して分母にする -調整頻度には100万語あたりの頻度（pmw）がよく使われる --粗頻度/コーパス総語数*1000000 ---数字が小さくなりすぎないようにするため ***各コーパスの語数表 [#mee53d9d] -[[BCCWJ>https://clrd.ninjal.ac.jp/bccwj/bcc-chu-suw.html]] --短単位語数表Excel http://doi.org/10.15084/00003226 --長単位語数表Excel http://doi.org/10.15084/00003224 -[[CEJC>https://www2.ninjal.ac.jp/conversation/cejc/cejc-wc.html]] -[[CHJ>https://clrd.ninjal.ac.jp/chj/chj-wc.html]] -[[SHC>https://clrd.ninjal.ac.jp/shc/stats.html]] ※語数表はコーパスの（サンプルごとの）語数をまとめた表。語彙表はコーパスの語彙（見出し語）ごとの使用頻度をまとめたもの **05/31 第7回 『中納言』の使い方（3）／Excelによる検索結果の集計(1)【オンライン】 [#y2f88ce8] ***（復習）中納言検索課題 [#p589be99] -[[中納言検索課題PDF>https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=167003]] -やや複雑な条件指定 --動詞「食べる」の前方3語以内にくる名詞 --動詞「食べる」の前方3語以内にくる「を」で格表示された名詞 --「かもしれない」の前に来る動詞 ***周辺語検索（検索条件式のみ） [#yaad8b13] -「美しい」の前後3語以内に出現する名詞 キー: 品詞 LIKE "名詞%" AND 共起: 語彙素="美しい" BETWEEN -3 AND 3 WORDS FROM キー // IN subcorpusName="平安-仮名文学" AND core="true" ***検索結果のダウンロードとExcelでの利用 [#y34bd27c] -並べ替え（ソート） -フィルター（絞り込み） --テキストフィルター --多重フィルター（複数の条件指定） -ピボットテーブル★ --ピボットグラフ -例：CEJCの副詞「矢張り」の語形 --性差 --年齢差 **05/24 第6回 『中納言』の使い方（2） [#zb5a6cb2] -アルバイト（自宅作業）について ***復習 [#s490fb22] -検索語の条件指定 -複数単位の組み合わせ --文頭・文末からの指定 ***「中納言の使い方」 [#wcc5208d] --[[中納言の使い方>https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=167002]] --3.7. 検索にあたっての注意点 ～ ***検索条件式の利用 [#r945c6c0] キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1" AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF" ↓これだけでもいい（IN 以下の検索対象コーパスやWITH OPTIONS 以下は式で指定がない場合、検索画面での設定に従う） キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー ***OR検索 [#q9b90c80] キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: (語彙素="言葉" OR 語彙素="言語") ON 1 WORDS FROM キー ***位置情報と用例へのパーマリンク [#fecf8e21] -位置検索 --''サンプルID,開始位置''((サンプル先頭からの文字数を10倍したもの))のセットでコーパス上の用例の位置を一意に指定できる --位置検索での区切り記号はカンマのほかタブやスペースでも可 -用例へのpermalink --CHJ源氏冒頭の「やんごとなし」：https://chunagon.ninjal.ac.jp/chj/permalink?unit=short&position=20-%E6%BA%90%E6%B0%8F1010_00001,330 ***検索結果のダウンロード [#mc7f9968] **05/17 第5回 『中納言』の使い方 [#hc863b3f] ***（前回補足）形態素解析を試してみる [#gf5bf622] -[[Web茶まめ>https://chamame.ninjal.ac.jp/]] --https://chamame.ninjal.ac.jp/ -利用例：ニュースのテキストとブログやSNSのテキストの比較／BCCWJなどのコーパスとの比較 ***「中納言の使い方」 [#wcc5208d] --[[中納言の使い方>https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=167002]] ---印刷したものを配布します。今後の授業で使うので持ってきてください。 **05/10 第4回 コーパスの形態論情報【オンライン】 [#p798b103] -今回はオンライン（Zoomによるリアルタイム講義）で行います。ZoomのアドレスはMoodle上で確認してください。 ***コーパスの形態論情報 [#w3c3c79b] -BCCWJの形態論情報 --https://clrd.ninjal.ac.jp/bccwj/morphology.html -短単位と長単位 --[[（スライド）短単位と長単位>https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=167001]] 参照 --配布資料：長単位と短単位・資料 （単位切りの例） -（参考）動画：コーパス検索システムの言語単位『短単位』 https://youtu.be/s5akpYOzNIU -「中納言」と短単位・長単位 --[[中納言の使い方>https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=167002]]（次回以降しばらく使います） ***品詞体系 [#d6776112] -BCCWJ・CHJは[[UniDic>https://clrd.ninjal.ac.jp/unidic/]]の品詞体系にもとづく（BCCWJのために開発されたのがUniDic） --[[授業資料/UniDicの品詞体系]] --[[授業資料/UniDicの見出し語階層]] ***コーパスへの形態論情報の付与 [#sfd1b3f3] -短単位：MeCabとUniDicを使った形態素解析で情報付与 -長単位：短単位を組み上げて情報付与 -[[形態論情報とUniDic>https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=167000]] ***参考資料 [#t1ff9987] -BCCWJ関連報告書 https://clrd.ninjal.ac.jp/bccwj/doc.html --形態論情報規程集(PDF) [[第4版 上>https://doi.org/10.15084/00002855]]・[[第4版 下>https://doi.org/10.15084/00002856]] **04/28 第3回 日本語コーパスの紹介（2） [#h1fad4a2] 『日本語日常会話コーパス』『日本語歴史コーパス』『昭和・平成書き言葉コーパス』 ***「日本語日常会話コーパス」（CEJC）の構成 [#x9f78d1c] -https://www2.ninjal.ac.jp/conversation/cejc.html -https://www2.ninjal.ac.jp/conversation/cejc/design.html -『日本語日常会話コーパス』設計・構築・特徴（報告書） --https://www2.ninjal.ac.jp/conversation/report/report06.pdf （以下スライド参照） --https://moodle.univ.gakushuin.ac.jp/course/view.php?id=18365#section-1 ***「日本語歴史コーパス」（CHJ）の構成 [#x9f78d1c] -https://clrd.ninjal.ac.jp/chj/ -残された資料に限りがある（そもそも偏りがある）歴史的なコーパスの場合、現代語コーパス同様の「代表性」を求めることは困難 :近世以前|残されている資料が少なく、できるだけ（可能なら全部）コーパスに入れたい :近世（後期）以降|偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい（作品など資料単位で調査したい） -[[『日本語歴史コーパス』>https://clrd.ninjal.ac.jp/chj/]]の中身 --中世以前は重要な資料をまるごと対象に --近世の洒落本・人情本：年代・著者（・地域）のバランスを取って作品単位でサンプリング ***近代語コーパスの場合 [#p0de8288] -[[近代雑誌コーパス>https://clrd.ninjal.ac.jp/cmj/]]（現在はCHJの一部） --多様な記事を含む「総合雑誌」を対象とすることでバランスを確保 --発行年での大まかなサンプリング ---[[「太陽コーパス」>https://clrd.ninjal.ac.jp/cmj/taiyou/index.html]]：8年おきに12冊ずつを対象 --その後の雑誌コーパスも8年おきに収録 ---明六雑誌・東洋学芸雑誌・国民之友・太陽（・中央公論・文藝春秋） -近代小説 --複数の有識者が日本語資料として選定・投票した結果（1980年代に作成した資料）をもとにサンプリング --https://www.jpling.gr.jp/taikai/happyo/yosi/2019/b/yosi_2019b_e3.pdf ***「昭和・平成書き言葉コーパス」（SHC）の構成 [#vfbcaa59] -https://clrd.ninjal.ac.jp/shc/ -CHJの後を受けて現代までを通時的に研究するためのコーパス。1933年以降、8年おき11か年分（1933・1941・1949・1957・1965・1973・1981・1989・1997・2005・2013）を収録。 :雑誌|1933～1957 年刊の『中央公論』と1965～2013 年刊の『文芸春秋』（8年おき11か年分） :ベストセラー書籍|1933年以降、8年おき11か年のベストセラー書籍 :新聞|1933年以降、8年おき11か年の『読売新聞』奇数月2日の朝刊1冊 ------ ***利用する側から見たコーパスの設計 [#p142476c] -BCCWJでもCHJでも、どのように設計されているかを知らないと大きな誤りを犯す可能性がある --サブコーパスのサイズを無視した比較 --バランスのとれていない項目間の単純比較（BCCWJの年代、CHJの時代・ジャンル等） **04/19 第2回 日本語コーパスの紹介（1） [#h1fad4a2] 『現代日本語書き言葉均衡コーパス』『昭和・平成書き言葉コーパス』 ***「中納言」授業アカウントの配布 [#k4971e1e] -必要な人に一人ずつ配布します（授業期間＋αのみ利用可能） -個人用アカウントを取得した人はそちらを利用して下さい ***コーパスを使ってみる [#s1b41ed3] -細かい話は抜きで「中納言」でコーパスを使ってみよう --『現代日本語書き言葉均衡コーパス』（BCCWJ）コアのみを対象に設定 --文字列検索 --短単位検索 ***コーパスとは [#t54768fa] （以下スライド参照） --https://moodle.univ.gakushuin.ac.jp/mod/resource/view.php?id=74182 :狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ） :広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。 -さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録） --参考：[[「ひまわり」パッケージ>https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -Web上のデータ --検索サイトの利用・WAC（Web as Corpus） -この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」「日本語日常会話コーパス（SHC）」「日本語歴史コーパス（CHJ）」「昭和・平成書き言葉コーパス（SHC）」 ***コーパスへの要請 [#c3c11312] --大規模であること --各種のテキストが含まれていて、ジャンルなどのバランスがとれていること --著作権の問題がないこと --言語研究に利用できる情報がついていること ***「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング [#s89fe505] -https://clrd.ninjal.ac.jp/bccwj/ -均衡コーパス（Balanced corpus） --「バランスがとれている」「代表性」とは？ --コーパスの母集団の設定とサンプリング --BCCWJのサブコーパス --可変長と固定長 -BCCWJ2 ------ -著作権をめぐる問題 ***参考リンク [#o1a9da5c] -英語のコーパス リファレンス --[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/ --[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/ -現代日本語書き言葉均衡コーパス（BCCWJ） --[[現代日本語書き言葉均衡コーパス：概要>https://clrd.ninjal.ac.jp/bccwj/index.html]] --BCCWJの基本設計：https://clrd.ninjal.ac.jp/bccwj/basic-design.html --サンプリング：https://clrd.ninjal.ac.jp/bccwj/sampling.html --XMLによる電子化：https://clrd.ninjal.ac.jp/bccwj/XML.html **04/12 第1回 イントロダクション [#z7ffa4ea] -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 https://www.ninjal.ac.jp/ ---[[国立国語研究所言語資源開発センター>https://clrd.ninjal.ac.jp/]] https://clrd.ninjal.ac.jp/ ***授業内容等の確認 [#e55ee18f] -[[シラバス>https://g-port.univ.gakushuin.ac.jp/campusweb_gk/slbssbdr.do?value(risyunen)=2024&value(semekikn)=1&value(kougicd)=U330200103&value(crclumcd)=2442017000]]の確認 --[[シラバス(G-Port)>https://g-port.univ.gakushuin.ac.jp/campusweb_gk/slbssbdr.do?value(risyunen)=2024&value(semekikn)=1&value(kougicd)=U330200103&value(crclumcd)=2442017000]] --この授業の目的 --授業の進め方 --評価方法 -一部講義のオンライン実施について -受講者アンケート --関心のある分野について --PC等のスキルについて ***「中納言」アカウントについて [#t6709ede] -「授業アカウント」について --授業期間中、受講者が利用可能なアカウントをこちらで用意します。 -個人用の「中納言」オンライン利用申込み --https://chunagon.ninjal.ac.jp/useraccount/register --授業後も継続して利用するために、個人アカウントの申請をおすすめします。 ***授業で利用する主なソフトウェア・Webアプリケーション（予定） [#i06478d2] |ソフトウェアの種類・名前|利用目的|h |[[コーパス検索アプリケーション''「中納言」''>https://chunagon.ninjal.ac.jp/]]|コーパスの検索| |表計算ソフト''Excel''|ピボットテーブルによる分析・グラフ作成| |ワープロ''Word''|「スタイル」を利用したレポート作成| |[[Web茶まめ>https://chamame.ninjal.ac.jp/]]|形態素解析| ***授業内容デモ [#kc4ae1c5] -コーパスの利用 --[[「現代日本語書き言葉均衡コーパス（BCCWJ）」>https://clrd.ninjal.ac.jp/bccwj/]] --[[「日本語日常会話」>https://www2.ninjal.ac.jp/conversation/cejc.html]] --[[「日本語歴史コーパス（CHJ）」>https://clrd.ninjal.ac.jp/chj/]] --[[「昭和・平成書き言葉コーパス（SHC）」>https://clrd.ninjal.ac.jp/shc/]] ---[[中納言>https://chunagon.ninjal.ac.jp]] -Excelによる集計（ピボットテーブル） -形態素解析 --[[Web茶まめ>https://chamame.ninjal.ac.jp]] ***（参考動画） [#v4246970] -言語学レクチャーシリーズ https://www.ninjal.ac.jp/education/videolecture/ --動画：コーパスを使って日本語の歴史を探る https://www.youtube.com/watch?v=dEi0kKdyrWk&list=PLZfZgVvFbh1a3zOK9Z2OJk6mA0olmcw3u
