![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2021-07-29T01:07:35+00:00","default:ogiwiki","ogiwiki") #author("2021-07-29T08:23:58+00:00","default:ogiwiki","ogiwiki") *九州大学：国語学講義 III / 日本語学方法論特論 III [#td0ed75f] **コーパス日本語学 [#f20f4b84] -前期木曜2限：10:30-12:00 -Mail: ogiso@ogiso.net //-初回（2021年4月8日）の授業は下記のZoomミーティングで行います。（ミーティングID: 955 7075 9062） //--https://zoom.us/j/95570759062 //-パスコードは授業シラバスのページの特記事項の欄を見てください。 //-''&color(red){2021年4月15日以降の授業はTeamsミーティングで行います。};''毎回同じアドレスです。 //-''2021年4月15日以降の授業はTeamsミーティングで行います。''毎回同じアドレスです。 -授業はTeamsミーティングで行います。授業のURLは下記の[[Moodle>https://moodle.s.kyushu-u.ac.jp/]]の[[授業コースのページ>https://moodle.s.kyushu-u.ac.jp/course/view.php?id=37105]]で確認してください。毎回同じアドレスです。 --&color(red){https://moodle.s.kyushu-u.ac.jp/course/view.php?id=37105}; //--コースはMoodleで「コーパス日本語学」や「小木曽」で検索しても見つかります。 ------ -''質問コーナー''（授業のことで質問があったら下記に記入してください。毎回の授業時に回答します。） --https://moodle.s.kyushu-u.ac.jp/mod/questionnaire/view.php?id=603522 //-''質問コーナー''（授業のことで質問があったら下記に記入してください。毎回の授業時に回答します。） //--https://moodle.s.kyushu-u.ac.jp/mod/questionnaire/view.php?id=603522 -[[中納言>https://chunagon.ninjal.ac.jp]] https://chunagon.ninjal.ac.jp **期末レポートについて [#s2b660c6] -授業で紹介したコーパスや調査手法を活かして、日本語の研究（古典語や古典文学作品の研究、他言語との対照研究を含む）として自身で設定したテーマについて論じなさい。 -〆切：8月24日 -分量：A4用紙で3～10枚 -提出先：Moodleの下記アドレスから提出 --https://moodle.s.kyushu-u.ac.jp/mod/assign/view.php?id=651621 --都合によってメールで送る場合はメール本文とWordファイルの両方に氏名・学籍番号を明記すること --埋め込みデータによってWordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ること **7月29日（第15回：最終回） レポートについて [#mfc93265] -国語研「通時コーパス」のアルバイトについて --今日3時から説明会（録画あり） -総研大について --https://www.soken.ac.jp/news/7062/ ***コロケーション強度（補足） [#b716b964] -コロケーション計算シート（BCCWJ語彙表対応） --https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=643700 ***特徴語抽出 [#y8625f01] 複数コーパスの語彙を比較してコーパスに特徴的な語を抽出する -[[授業資料/対数尤度比による特徴語抽出]] ***Wordでレポートを書く [#pc6b7b3b] 文書の構造化とWordの使い方（レポートの書き方） -文書の構造化* --スタイルと見出し --ナビゲーション ウィンドウ（見出しマップ）の使い方 --章・節番号 -図表の貼り込み* --「形式を選択して貼り付け」 --図表番号とキャプション -脚注 --脚注と文末脚注 -相互参照 --節番号、図表番号と相互参照 --目次、図表目次 -ページ番号* -PDFとして保存（ブックマークを付加）* ***レポートの構成について [#ee2b2c83] -[[IMRAD>https://ja.wikipedia.org/wiki/IMRAD]] ***いっそうのコーパス活用のために [#icbefa10] -この授業は基本的に''Excel（＋エディタ）縛り'' -より進んだコーパス活用のために、下記の知識を身につけると良い（必ずしも高度なことまでできなくていい） --（参考リンク）[[『日本語歴史コーパス』 活用ワークショップ2019>https://sites.google.com/ogiso.net/chj-bootcamp/2019]] -Python --例：[[Colaboratory/正規表現でテキストの前処理>https://colab.research.google.com/drive/19uzViwH5-vIQgRRAWUt_kqny2a-3oIw3?usp=sharing]] -R --例：[[授業資料/Rの利用]] -SQL (関係データベース) --[[CHJBootCamp2019/DAY1-1]] **7月15日（第14回） 正規表現を使ったインラインタグの利用／コロケーション強度 [#y6491ac8] ***アルバイトについて [#w1d9fe7a] -通時コーパスでアルバイトを募集中（在宅・長期） -小木曽までメールを ***レポートテーマについて [#l6cf653b] ***正規表現を使った「中納言」インラインタグの利用 [#j317b883] -前後文脈に埋め込んだタグから、エディタと正規表現を使ってうまく情報を取り出して利用する -例：「こそ～已然形」の上接語と結びを取り出す -例：形容詞の連続を取り出して傾向を調べる --cf.英語：OPSHACOM ※同じことは、文字列関数の組み合わせや、キーの位置を変えた二つの検索結果を組み合わせたVLOOKUPでも頑張ればできるが、かなりたいへん。 ***コロケーション強度 [#y45adc9c] -[[授業資料/コロケーション強度]] --参考資料：[[小木曽（2014）「コーパス活用の勘所(第6回)【中古語の文法】助動詞と上接動詞のコロケーション」日本語学 33(11) pp.82 - 87>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=633017]] -「玉葱」と共起する動詞の例 --https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=643703 -[[VLOOKUP>授業資料/VLOOKUP関数]]で、語彙表から調査対象語のコーパス中の頻度を引いてくる --https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=643700 --BCCWJ語彙表 https://ccd.ninjal.ac.jp/bccwj/bcc-chu.htm --CHJ語彙表 https://ccd.ninjal.ac.jp/chj/chj-wc.html ------ ''&color(red){※以下、前回補足};'' ***タグ付き正規表現 [#z9ef50e5] -走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか --次のように置換するととんでもないことに… ---検索文字列：走[らりるれろっ] ---置換文字列：★走[らりるれろっ] -タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う -[[授業資料/タグつき正規表現]] ***最長一致の原則（greedy matching） [#y047e9bd] -正規表現は、パターンが一致する最も長い範囲にマッチする --例：''あ+'' → ''【\1】'' ---ああああああああ → 【ああああああああ】 そのせいで… --例：''「(.+)」'' → ''【\1】'' ---「こんにちは」「さようなら」 → 【こんにちは」「さようなら】 --括弧の組ごとに置換するためには''「([^」]+)」'' → ''【\1】'' のように書かなければならない ---「こんにちは」「さようなら」 → 【こんにちは】【さようなら】 -よりかんたんに指定するには（最短一致，ものぐさ指定） --''「(.+?)」「(.*?)」''のように、繰り返し指定の+*の後に「?」をつける -（参考）タグ付き正規表現の応用：[[grepと置換でKWICを作る>授業資料/grepと置換でKWICを作る]] ***検索文字列の中での後方参照 [#ra28185d] -検索語の中で\1を使う --(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ --(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ --(..)\1\1 --(...)\1 ***正規表現に関する参考資料 [#w86de08b] -サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html -正規表現に関する本 [[amazonで検索>https://www.amazon.co.jp/s?k=%E6%AD%A3%E8%A6%8F%E8%A1%A8%E7%8F%BE]] **7月8日（第13回） テキストエディタと正規表現によるデータの整形 [#mc95ff09] ***レポートテーマ（仮）提出について [#qc4c8d52] -''&color(red){次回7月15日までに下記のアンケートで期末レポートのテーマを回答してください（履修者全員）。};'' --複数でも、今後変更しても構いません。現時点で考えていることで結構です。 --可能な範囲で、コーパス調査への適否や調査方法などについてコメントします。 -提出先：https://moodle.s.kyushu-u.ac.jp/mod/assign/view.php?id=638612 ***デモ [#ob57bd7c] Excelで中納言検索結果の列を丸ごとコピーし、エディタで整形した後、Excelに貼り付ける -前後文脈の整理（キーが現れた文以外を消す） --前文脈：.+#((を空文字列に置換。以下同じ)) 後文脈：#.+ -値の一部を取り出す --品詞大分類：-.+ ジャンル大分類：/.+ ※慣れると文字列関数よりも早くて便利 ***テキストデータについて [#k896318b] -テキストデータとは：すべての基本、文字が並ぶだけのデータ -[[授業資料/テキストデータとは]] --バイナリデータとテキストデータ -テキストファイルの拡張子：TXT,CSV,HTM… --ファイルの種類と拡張子 参考：[[拡張子辞典>http://www.jisyo.com/viewer/]] --[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E5%AD%90]] -サンプルデータ --★[[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]] ***テキストエディタ [#q7ae852c] -テキストエディタとはどんなものか --[[授業資料/テキストエディタ]] ***テキストエディタのダウンロードとインストール [#bf5ea59f] -★[[サクラエディタのダウンロード:https://github.com/sakura-editor/sakura/releases/download/v2.4.1/sakura-tag-v2.4.1-build2849-ee8234f-Win32-Release-Installer.zip]] ←ここをクリック ---(参考) サクラエディタホームページ：https://sakura-editor.github.io/ -インストールの手順 --ダウンロードしたzipファイルの中にあるsakura-install*.exeをデスクトップにコピー --exeファイルを右クリックして「セキュリティ」の右の「許可する」をチェックして「OK」 --ダブルクリックしてインストール ***Macの場合（miのダウンロードとインストール） [#c84ab588] -miのダウンロード https://www.mimikaki.net/ --ダウンロードされたファイルをダブルクリック ***テキストエディタの基本操作 [#ub1360ec] -検索・置換、grep --検索で初出行を調べる --置換で用例数を数える --grepで用例リストを作る --タグジャンプで文脈を確認する -たいていのことはショートカットキーでできる ***正規表現とは [#d216d4e0] -''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する --テキストエディタでは置換・検索・grepで利用できる （エディタ以外にもさまざまなアプリケ－ションやプログラミング言語で利用されている） --特殊な文字（メタ文字）はすべて半角 //--特殊な文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2 ***正規表現を使ってみる [#u471d57b] -文字クラス --例：読[まみむめもん] ---半角ブラケットの中に文字を並べる→並べた文字いずれか1文字 ***正規表現のいろいろ [#q514651f] -[[授業資料/正規表現]] --文字クラス [ ] --文字クラスの否定（補集合）[^ ] --繰り返し ? + * --グループ化 () --or（論理和） | --文頭 ^、文末 $ ***正規表現の応用 [#c7a3ea2d] -カタカナ語 --カタカナ（外来語）の形容動詞語幹 -送りがなの揺れ（行う／行なう） -会話文中（"「"で始まる文中）の用例を検索する -同一文中での共起 --全然～ない。 --もし～なら（ば） **7月1日（第12回） VLOOKUP関数の利用[#c5066ccc] ***VLOOKUP関数の利用 [#tf76047b] -[[授業資料/VLOOKUP関数]]参照 ***辞書引き集計 [#k380e1c9] 自分で作った（または誰かが用意してくれた）辞書データ（コーパスの見出し語に対する追加情報）を利用する -例：形容詞の意味分類付与 --（参考）分類語彙表 https://ccd.ninjal.ac.jp/goihyo.html ***アノテーションの利用 [#qbe9ddda] 自分で作った（または誰かが用意してくれた）コーパスへのアノテーション（用例に対する注釈データ）を利用する -例：中古ラレルの用法分類 --[[『日本語歴史コーパス』中古「る」「らる」用法分類アノテーションデータ ver.0.5>https://researchmap.jp/multidatabases/multidatabase_contents/detail/228595/1af08dfb08f421f4d6e0a39f528fed96?frame_id=569491]] ------ ***「中納言」インラインタグ機能の利用 [#h1e23ecf] -前後文脈に埋め込んだタグから、必要な情報を取り出して利用 --エディタと正規表現を使うと便利 ---（参考）[[授業資料/正規表現]] **6月24日（第11回） 文字列関数の利用 [#adc99055] ***Excelの文字列関数 [#r56f9082] 集計に必要な情報をフィールドから切り出すことで集計に使う -[[授業資料/EXCELの文字列関数]]参照 -（参考）Mac版Excelと文字種 --フィルタのオプションで平仮名と片仮名が区別されないので、文字コードで区別する ---=unicode(文字列) ：文字列の先頭文字の文字コード（Unicode、10進数）を返す **6月17日（第10回） 調整頻度の計算[#kb5ce1d6] ***ランダムサンプリング調査（再） [#eaabe4ad] -大量に用例があり、調査内容からすべて対象にできない場合 -ランダムに並べ替え→先頭n例を調査対象に --ランダムな数字の列： =RAND() --ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される -例：「られる」「全然」 ***出現サンプル数の調査（重複の削除） [#ma197696] 用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合 -たとえば同一サンプル内での繰り返しが多いものを調査するとき（例：一人称代名詞など） --「データ」→「重複の削除」 -例：「俺・僕・私」 ***BCCWJ利用の落とし穴 [#le968f3e] -BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない --レジスターによって母集団の年が違っている ---レジスターの偏りを年代の偏りと勘違いしないこと --30年あるのは白書・ベストセラー・国会会議録など一部のものだけ -もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない --→調整頻度の計算 ---cf.人口あたりの事故件数，１平方キロあたりの…etc. -BCCWJの語数 --https://ccd.ninjal.ac.jp/bccwj/bcc-chu-suw.html -短単位語数表をピボットテーブルで集計 --短単位語数表：http://doi.org/10.15084/00003226 ***調整頻度（pmw） [#v1c12e52] -粗頻度を総語数で割る --レジスターごとの語数データ：中納言ページの「語数について」のリンク先からExcel形式でダウンロードできる ---語数ファイルをピボットテーブルで集計して分母に -調整頻度には100万語あたりの頻度（pmw）がよく使われる --粗頻度/コーパス総語数*1000000 ---数字が小さくなりすぎないようにするため -例：「パソコン」「立ち上げる」 -例：「矢張り」 -※割合を比較するだけなら調整頻度を出す必要はない。 ***（Excel基礎）セルの相対参照と絶対参照 [#e418e4aa] -A1：相対参照 -$A$1：絶対参照 -$A1：列のみ絶対参照 ***調整頻度の例：『日本語歴史コーパス』[#ac7fae2a] -頻度で見る「あはれ」「をかし」と源氏・枕 --※最低限、調査対象の語数を考慮した（＝調整頻度による）比較が必要 **6月10日（第9回） Excelによる検索結果の集計2 ：ちょっとした応用[#q1e6a1b0] ***複数の検索結果の結合（復習） [#l9b3620b] -例：ワイン・葡萄酒 ※単位数が違うので検索条件式でも一つの式では書けない キー: 語彙素="ワイン"; キー: 語彙素="葡萄" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー; 一度にピボットテーブルで集計できるように一つの表にまとめる -※必ず表をくっつけること（空行を入れるとそこで表が切れていると認識される） ショートカットキーを活用すると便利 -Ctrl((Macの場合はCommand))+End((EndキーはノートPCではしばしばFn+→)) ファイルの末尾/表のいちばん右下に移動 -Shift+Ctrl+End((EndがFn+→の場合は、Shift+Ctrl+Fn+→を同時押し)) 〃範囲を選択 +表をコピー --Ctrl+Home((EndキーはノートPCではしばしばFn+←))（表の左上へ移動）, ↓（列名は選択しないようにするため1行下へ）,Shift+Ctrl+End, Ctrl+C（コピー） +コピーした表を既存の表の下に貼り付け --Ctrl+↓（表の一番下の行に移動）, ↓（1行下へ）, Ctrl+V（貼り付け） ***（補足）ショートカットキーについて [#da449f25] -[[授業資料/覚えておきたいショートカットキー]] ***集計用の列を自分で用意する [#ccae4a87] -検索例：蒲公英・向日葵・蓮華 --表記（ひらがな・カタカナ・漢字）別集計 -応用：用法分類などなど ***ランダムサンプリング調査 [#j4516bb3] -大量に用例があり、調査内容からすべて対象にできない場合 -ランダムに並べ替え→先頭n例を調査対象に --ランダムな数字の列： =RAND() --ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される -例：「られる」「全然」 **6月3日（第8回） 「Excelによる検索結果の集計 [#ja1397c8] -[[中納言の使い方 (PDF)>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/%E4%B8%AD%E7%B4%8D%E8%A8%80%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9.pdf]] --6.3. 検索結果のダウンロードから ***「中納言」検索結果のダウンロードとExcelでの利用 [#m04a71cb] +ダウンロード +Excelでインポート -データの形式 --タブ区切りテキストの各列 ***Excelの基礎 [#t5ba152a] -並べ替え（ソート） --反転前文脈の使い方 -フィルタ（絞り込み） --テキストフィルタ --多重フィルター（複数の条件指定） ***【重要】ピボットテーブルの使い方 [#d0a7589d] -ピボットテーブル -ピボットグラフ --例：CHJの犬と猫 //***「中納言」の検索指定についての質問 [#q4de9556] //「中納言」の検索指定のやりかたについて、質問があったら授業開始時間までに下記に記入しておいて下さい。 //--https://moodle.s.kyushu-u.ac.jp/mod/questionnaire/view.php?id=588450 **5月27日（第7回） 「中納言」の使い方2：検索条件の指定 [#ja1397c8] -「中納言」 https://chunagon.ninjal.ac.jp/ --BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt --CHJ: https://chunagon.ninjal.ac.jp/chj -[[中納言の使い方 (PDF)>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/%E4%B8%AD%E7%B4%8D%E8%A8%80%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9.pdf]] --3.5から //***前回の復習と質問 [#q4de9556] //「中納言」の検索指定のやりかたについて、質問があったら授業開始時間までに下記に記入しておいて下さい。 //--https://moodle.s.kyushu-u.ac.jp/mod/questionnaire/view.php?id=581324 ***位置情報と用例へのパーマリンク [#fecf8e21] -位置検索 --''サンプルID,開始位置''((サンプル先頭からの文字数を10倍したもの))のセットでコーパス上の用例の位置を一意に指定できる --位置検索での区切り記号はカンマのほかタブやスペースでも可 -用例へのpermalink --CHJ源氏冒頭の「やんごとなし」：https://chunagon.ninjal.ac.jp/chj/permalink?unit=short&position=20-%E6%BA%90%E6%B0%8F1010_00001,330 ***検索条件式の利用 [#wa3409db] キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1" AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF" ***検索結果のダウンロードとExcelでの利用 [#y34bd27c] -並べ替え（ソート） -フィルター（絞り込み） --テキストフィルター --多重フィルター（複数の条件指定） -ピボットテーブル★ --ピボットグラフ **5月20日（第6回） コーパス検索アプリケーション「中納言」 [#ja1397c8] -「中納言」 https://chunagon.ninjal.ac.jp/ --BCCWJ: https://chunagon.ninjal.ac.jp/bccwj-nt --CHJ: https://chunagon.ninjal.ac.jp/chj -[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/%E4%B8%AD%E7%B4%8D%E8%A8%80%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9.pdf]] **5月13日（第5回） コーパスの形態論情報(2) [#j39590ef] ***品詞体系 [#d6776112] -BCCWJ・CHJは[[UniDic>https://ja.osdn.net/projects/unidic/]]の品詞体系にもとづく（BCCWJのために開発されたのがUniDic） --[[授業資料/UniDicの品詞体系]] --[[授業資料/UniDicの見出し語階層]] ***形態素解析を試してみる [#gf5bf622] -[[Web茶まめ>https://chamame.ninjal.ac.jp/]] --https://chamame.ninjal.ac.jp/ ***形態素解析とその仕組み [#hf81dcf2] -[[授業資料/形態素解析]] ***中納言の使い方 [#mf5d144c] -資料：[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/%E4%B8%AD%E7%B4%8D%E8%A8%80%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9.pdf]] **5月6日（第4回） コーパスの形態論情報 [#ab202b7c] //-''&color(red){都合により、30分程度遅れて開始します。（11:00ごろ～12:00）};'' -''都合により、30分程度遅れて開始します。（11:00ごろ～12:00）'' ***紙の資料からコーパスまで ～テキストの電子化とアノテーションの高度化 [#s7dfd61c] +(紙の)本文 +(紙の)総索引（コンコーダンス） +電子テキスト：テキスト （199x年代～） --[[授業資料/テキストデータ紹介]] +構造化テキスト：テキスト+XMLによる構造化タグ （200x年代～） --[[太陽コーパス>https://ccd.ninjal.ac.jp/cmj/taiyou/]]など +単語情報付きのコーパス：テキスト+XMLによる構造化タグ+形態論情報 （201x年代～） --[[現代日本語書き言葉均衡コーパス（BCCWJ）>https://ccd.ninjal.ac.jp/bccwj/]]など --[[日本語歴史コーパス（CHJ）>https://ccd.ninjal.ac.jp/chj/]]など ***電子化とアノテーション（明六雑誌コーパスを例に） [#nb9967ee] -明六雑誌コーパス：https://ccd.ninjal.ac.jp/cmj/meiroku/ -ファイル形式と実例 ++電子テキスト：プレーンテキスト ++構造化テキスト：XMLファイル ++単語情報付きデータ：単語情報を埋め込んだXML ／XMLファイル＋CSVファイル --（発展）XMLの限界とスタンドオフアノテーション -それぞれの利用アプリケーション ++電子テキスト：テキストエディタ＋grepなど ++構造化テキスト：全文検索システム[[「ひまわり」>https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] ++単語情報付きデータ：中納言（オンライン）／[[Chaki.Net>https://ja.osdn.net/projects/chaki/]]（PC上） ***コーパスの形態論情報（1） [#w3c3c79b] --https://ccd.ninjal.ac.jp/bccwj/morphology.html -短単位と長単位 --[[（スライド）長単位と短単位>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/02%E7%9F%AD%E5%8D%98%E4%BD%8D%E3%81%A8%E9%95%B7%E5%8D%98%E4%BD%8D.pdf]] 参照 --[[長単位と短単位・資料>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/%E7%9F%AD%E5%8D%98%E4%BD%8D%E3%81%A8%E9%95%B7%E5%8D%98%E4%BD%8D%E3%83%BB%E8%B3%87%E6%96%99OW1X_00003.docx?forcedownload=1]] 単位切りの例 --（参考）動画：コーパス検索システムの言語単位『短単位』 https://youtu.be/s5akpYOzNIU -コーパス検索アプリケーション「中納言」と短単位と長単位 --[[中納言の使い方>https://moodle.s.kyushu-u.ac.jp/pluginfile.php/980893/mod_folder/content/0/%E4%B8%AD%E7%B4%8D%E8%A8%80%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9.pdf]] **4月22日（第3回） コーパスの設計2 [#ab202b7c] （''[[Moodleに置いたスライド>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=549970]]参照''） -ともかく「[[中納言>https://chunagon.ninjal.ac.jp/]]」（[[BCCWJ>https://chunagon.ninjal.ac.jp/bccwj-nt/]]，[[CHJ>https://chunagon.ninjal.ac.jp/chj/]]）を使ってみる ***「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング （つづき） [#s92bdf91] -https://ccd.ninjal.ac.jp/bccwj/ -均衡コーパス（Balanced corpus） --「バランスがとれている」「代表性がある（representative）」とは？ --コーパスの母集団の設定とサンプリング --BCCWJのサブコーパス★ここから↓（スライド41ページ） --可変長と固定長 -著作権をめぐる問題 ***「日本語歴史コーパス」（CHJ）の構成 [#x9f78d1c] -https://ccd.ninjal.ac.jp/chj/ -残された資料に限りがある（そもそも偏りがある）歴史的なコーパスの場合、現代語コーパス同様の「代表性」を求めることは困難 :近世以前|残されている資料が少なく、できるだけ（可能なら全部）コーパスに入れたい :近世（後期）以降|偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい（作品など資料単位で調査したい） -[[『日本語歴史コーパス』>https://ccd.ninjal.ac.jp/chj/]]の中身 --中世以前は重要な資料をまるごと対象に --近世の洒落本・人情本：年代・著者（・地域）のバランスを取って作品単位でサンプリング ***近代語コーパスの場合 [#p0de8288] -近代雑誌（現在はCHJの一部） --多様な記事を含む「総合雑誌」を対象とすることでバランスを確保 --発行年での大まかなサンプリング ---[[「太陽コーパス」>https://ccd.ninjal.ac.jp/cmj/taiyou/index.html]]：8年おきに12冊ずつを対象 --その後の雑誌コーパスも8年おきに収録 ---明六雑誌・東洋学芸雑誌・国民之友・太陽（・中央公論・文藝春秋） -近代小説 ※明日の夕方に公開予定 --複数の有識者が日本語資料として選定・投票した結果（1980年代に作成した資料）をもとにサンプリング --https://www.jpling.gr.jp/taikai/happyo/yosi/2019/b/yosi_2019b_e3.pdf ***利用する側から見たコーパスの設計 [#p142476c] -BCCWJでもCHJでも、どのように設計されているかを知らないと大きな誤りを犯す可能性がある --サブコーパスのサイズを無視した比較 --バランスのとれていない項目間の単純比較（BCCWJの年代、CHJの時代・ジャンル等） **4月15日（第2回） コーパスの設計 [#d3ad8ff2] ***「中納言」のアカウントについて [#q6b1b11e] -授業アカウントの配布 （以下、''[[Moodleに置いたスライド>https://moodle.s.kyushu-u.ac.jp/mod/resource/view.php?id=549970]]も参照''） ***コーパスとは [#t54768fa] :狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ） :広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。 --さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録） ---[[「ひまわり」パッケージ>https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] --Web上のデータ ---検索サイトの利用 ---WAC（Web as Corpus） -言語学分野では前者、自然言語処理分野などでは後者の意味で使いがち。 -この授業で主に扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」と「日本語歴史コーパス（CHJ）」 ***コーパスに求められるもの [#h042f3fe] -コーパス以前の電子化日本語資料（とその限界） --個人研究者による電子化テキスト ---cf. [[日本文学等テキストファイル(岡島昭浩)>http://www.ne.jp/asahi/nihongo/okajima/bungaku.htm]] --出版社による電子出版物（CD-ROM） ---新潮文庫の100冊 etc. --新聞のデータベース（CD-ROM） ---毎日新聞CD-ROM etc. --Web上のテキストアーカイブ ---青空文庫 etc. --Webそのもの ---Web as Corpus -（現代語）コーパスへの要請 --大規模であること --各種のテキストが含まれていて、ジャンルなどのバランスがとれていること --著作権の問題がないこと --言語研究に利用できる情報がついていること ***「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング [#s89fe505] -https://ccd.ninjal.ac.jp/bccwj/ -均衡コーパス（Balanced corpus） --「バランスがとれている」「代表性がある（representative）」とは？ --コーパスの母集団の設定とサンプリング --BCCWJのサブコーパス --可変長と固定長 -著作権をめぐる問題 ***参考リンク [#o1a9da5c] -英語のコーパス リファレンス --[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/ --[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/ -現代日本語書き言葉均衡コーパス（BCCWJ） --[[現代日本語書き言葉均衡コーパス：概要>https://ccd.ninjal.ac.jp/bccwj/index.html]] --BCCWJの基本設計：https://ccd.ninjal.ac.jp/bccwj/basic-design.html --サンプリング：https://ccd.ninjal.ac.jp/bccwj/sampling.html --XMLによる電子化：https://ccd.ninjal.ac.jp/bccwj/XML.html **4月8日（第1回）イントロダクション/日本語コーパスの紹介 [#wdd4ab2f] ***イントロダクション [#z7ffa4ea] -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 https://www.ninjal.ac.jp/ --[[国立国語研究所コーパス開発センター>https://ccd.ninjal.ac.jp/corpus_center/]] https://ccd.ninjal.ac.jp/corpus_center/ -（参考）国語研オープンハウス2020 https://www2.ninjal.ac.jp/openhouse2020/ --動画「日本語歴史コーパス」の紹介 https://youtu.be/tKvVR2K2h2E ***授業内容等の確認 [#e55ee18f] -[[シラバス>https://www2.lit.kyushu-u.ac.jp/~syllabus/cgi-bin/table-odd.cgi?thisyear=2021&num=1310103&show=S1110000&big=B00000&each=1]]の確認 --この授業の目的 --授業の進め方 --評価方法 -受講者アンケート --関心のある分野について --PC等のスキルについて ***「中納言」アカウントについて [#t6709ede] -「授業アカウント」について -「中納言」オンライン利用申込み --https://chunagon.ninjal.ac.jp/useraccount/register ***授業で利用する主なソフトウェア・Webアプリケーション（予定） [#i06478d2] |ソフトウェアの種類・名前|利用目的|h |[[コーパス検索アプリケーション''「中納言」''>https://chunagon.ninjal.ac.jp/]]|コーパスの検索| |表計算ソフト''Excel''|ピボットテーブルによる分析・グラフ作成| |[[Web茶まめ>https://chamame.ninjal.ac.jp/]]|形態素解析| |[[テキストエディタ ''サクラエディタ''>http://sourceforge.net/projects/sakura-editor/]]|正規表現を使ったテキストの検索・整形| |ワープロ''Word''|「スタイル」を利用したレポート作成| |[[全文検索ソフト''ひまわり''>https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]|データの検索,ミニコーパスの作成| |[[R>https://www.r-project.org/]]|データの統計分析| ***授業内容デモ [#kc4ae1c5] -コーパスの利用 --[[「現代日本語書き言葉均衡コーパス（BCCWJ）」>https://ccd.ninjal.ac.jp/corpus_center/bccwj/]] ---[[梵天（BCCWJ文字列検索）>https://bonten.ninjal.ac.jp/bccwj/string_search]] ---[[中納言>https://chunagon.ninjal.ac.jp]] --[[「日本語歴史コーパス（CHJ）」>https://ccd.ninjal.ac.jp/corpus_center/chj/]] -Excelによる集計（ピボットテーブル） -形態素解析 --[[Web茶まめ>https://chamame.ninjal.ac.jp]] -テキストエディタとgrep -全文検索システム[[ひまわり>https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -[[R>https://www.r-project.org/]]
