![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[上智2014]] *コーパス日本語学入門 -前期・金曜4限 -ogiso＠ogiso.net ←＠を@に直してください -BCCWJ中納言 https://chunagon.ninjal.ac.jp/ **期末レポートについて -締切：7月31日（木） -提出先：メールで直接送付（必ず返信を確認すること） -分量：A4用紙で3～10枚 -メール・Wordファイルの両方に氏名・学籍番号を明記すること --Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください **2014/07/18 最終回 -レポート完成に向けて作業を進めながら積極的に質問してください。 **2014/07/11 休講 **2014/07/04 ***Wordでレポートを書く -文書の構造化* --スタイルと見出し --ナビゲーション ウィンドウ（見出しマップ）の使い方 --章・節番号 -図表の貼り込み* --「形式を選択して貼り付け」 --図表番号とキャプション -脚注 --脚注と文末脚注 -相互参照 --節番号、図表番号と相互参照 --目次、図表目次 ***レポート作成のためのコーパス検索・調査（2） -レポート完成に向けて作業を進めながら積極的に質問してください。 **2014/06/27 -レポートテーマについて ***レポート作成のためのコーパス検索・調査（1） 考えてきたテーマについて、実際に用例を検索してレポート作成の準備を進めます。 積極的に質問して下さい。 -授業中、1億語全体の検索は極力避けて下さい。 **2014/06/20 ***レポートテーマ案提出 -BCCWJ中納言の契約書を返却します。 -レポートテーマの案を提出してください。 ***形態素解析 -リンク：[[形態素解析ウェブアプリUniDic-MeCab（複合名詞判定ver付き）>http://www4414uj.sakura.ne.jp/Yasanichi1/unicheck/]] #include(授業資料/形態素解析,notitle) &br; #hr --形態素解析器[[MeCab>http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html]]（Windows用）最新版 [[Download>http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.exe]] ***授業用UniDic+MeCabパッケージのダウンロード -https://dl.dropboxusercontent.com/u/134600/portable-unidic-mecab.zip ***茶まめで形態素解析・Excelで集計 +茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic） +Excelに出力する +ピボットテーブルで集計する -テキストのジャンルと語種，品詞の割合をグラフ化してみる --ブログのテキストと新聞記事のテキストの解析結果を比較 **2014/06/13 ***BCCWJ利用の落とし穴 -BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない --レジスターによって母集団の年が違っている ---レジスターの偏りを年代の偏りと勘違いしないこと --30年あるのは白書・ベストセラー・国会会議録など一部のものだけ -もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算 --cf.人口あたりの事故件数，１平方キロあたりの…etc. --データ：語彙素「矢張り」 [[kwic-yahari.zip>https://www.dropbox.com/s/33jkbf7k24hlwyw/kwic-yahari.zip]] ***調整頻度の計算 -粗頻度を総語数で割る --レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる ---語数ファイルをピボットテーブルで集計して分母に -調整頻度には100万語あたりの頻度が比較的よく使われる --粗頻度/総語数*1000000 ---数字が小さくなりすぎないようにするため -※割合の違いを比較するだけなら調整頻度を出す必要はない。 ***ランダムサンプリング調査(Excelでの集計・補足) --大量に用例があり、調査内容からすべて対象にできない場合 --ランダムに並べ替え→先頭n例を調査対象に ---ランダムな数字の列： =RAND() ---ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される --データ：「れる・られる」コアのみ（用法分類） [[kwic-rareru.zip>https://www.dropbox.com/s/uypb93o1qgmlfi8/kwic-rareru.zip]] ***NINJAL LWP for BCCWJの紹介 -http://nlb.ninjal.ac.jp/ -ワードプロファイラー -語の振る舞いの概略を見るのに手軽で便利 -注意点 --UniDicの見出し語体系でない（＝本来のBCCWJではない） --自動係り受け解析結果は形態素解析以上に誤りが多い **レポートテーマについて -次回までにレポートテーマを考えてくること（全員提出のこと） -他の授業で取り上げられたテーマや普段から見聞きする言葉に気をつける -図書館も活用すること -ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく ***表記 --「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差 --「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？レジスター差？ --「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ ***類義語・対義語 --「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い） --「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差 --「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析 ***語形、語法 --「好ましい」「好もしい」・・・語形の揺れと文体差 --「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件 ***新語・意味変化 --「断トツ」「定番」「夜ご飯」・・・新語の広がり --「役不足」「確信犯」・・・”誤用”と”正用” **2014/06/06 ***Excelによる集計・つづき -復習・補足 --語形レベルでの集計 ---例：exhibition [[データダウンロード kwic-Exhibition.zip>https://www.dropbox.com/s/qi7w3d2razg2234/kwic-Exhibition.zip]] -「検索課題」（配付資料） -複数の検索結果の結合 --例：蒲公英・向日葵・菫 ---[[データダウンロード kwic-flowers.zip>https://www.dropbox.com/s/rps83rgol4feglf/kwic-flowers.zip]] -集計用の列を自分で用意する --例：表記（ひらがな・かたかな・漢字）別集計 ***Excelの文字列関数とIF関数 -例：ジャンル（NDC）の整理 --先頭の文字を取り出す（NDCの一次区分（＝類）） ---=LEFT(<ジャンルのセル>,1) --スラッシュで区切られた最初の部分（ジャンルの大分類） ---=LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1) -集計用に用意した列で文字列処理関数を利用する --LEFT --RIGHT --MID --LEN --SEARCH --SUBSTITUTE -応用例：品詞の大分類を使う --=LEFT(<品詞>,SEARCH("-",<品詞>)-1) **2014/05/30 ***復習 +「中納言」による検索 +Excelでインポート +ピボットテーブルで集計 ***Excelの基礎 -並べ替え --反転前文脈の使い方 -フィルタ --テキストフィルタ ***検索の例 -男と女のレジスタ分布 [[データ kwic-MaleFemale.zip>https://www.dropbox.com/s/x3p6kimzj36enxn/kwic-MaleFemale.zip]] --男性と女性 --男と女と形容詞 --短単位で検索（unit="1"） キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2" キー: (語彙素="男性" OR 語彙素 = "女性") WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2" --以下は長単位で検索（unit="2"） キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 WORDS FROM キー WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2" キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) ON 1 WORDS FROM キー WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2" -「検索課題」配付資料 ***補足 -[[ジップの法則>http://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%83%E3%83%97%E3%81%AE%E6%B3%95%E5%89%87]] **2014/05/23 -資料「『中納言』の使い方」つづき 2.6～ ***検索条件式の利用 キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-8" AND tglFixVariable="2" ***検索結果をExcelで利用する -前回資料（4.）参照 ***「中納言」検索結果のダウンロードとExcelでの利用 +ダウンロード +アーカイブの展開（解凍） +Excelでインポート ***【重要】ピボットテーブルの使い方 -ピボットテーブル -ピボットグラフ **2014/5/16 ***「中納言」の利用：形態論情報を使った検索 -配布資料「『中納言』の使い方」 --1.３つの検索方法 ～ 2.5ワイルドカード まで **2014/5/9 ***「中納言」利用申込み -先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。 **コーパスの形態論情報 ***短単位と長単位 -''（配付資料）''参照 -''（スライド）''参照 ***品詞体系 -BCCWJはUniDicの品詞体系にもとづく --形態論情報の例 ----- #include(授業資料/UniDicの品詞体系,notitle) ----- #include(授業資料/UniDicの見出し語階層,notitle) ----- ***形態論情報を活かした検索 -「中納言」での指定方法 //-資料「『中納言』概説・実習」参照 **2014/5/2 ***「中納言」利用申込み -先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。 ***日本語コーパスの紹介（2） コーパスの設計とサンプリング -''（スライド参照）'' --[[第2回コーパスの設計とサンプリング>https://www.dropbox.com/s/j9yt940pvhjlqym/20140502_%E4%B8%8A%E6%99%BA%E3%83%BB%E7%AC%AC3%E5%9B%9E%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E8%A8%AD%E8%A8%88%E3%81%A8%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0.pptx]] -均衡コーパス（Balanced corpus） --「バランスがとれている」とは？ --コーパスの母集団の設定とサンプリング --BCCWJのサブコーパス --可変長と固定長 -著作権をめぐる問題 ***参考リンク -英語のコーパス リファレンス --[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/ --[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/ -現代日本語書き言葉均衡コーパス（BCCWJ） --[[現代日本語書き言葉均衡コーパス：概要>http://www.ninjal.ac.jp/corpus_center/bccwj/index.html]] --[[現代日本語書き言葉均衡コーパス：サンプリング>http://www.ninjal.ac.jp/corpus_center/bccwj/sampling.html]] **2014/4/25 ***「中納言」利用申込み -申込用紙を配布します。''押印して次回、必ず持ってきてください。'' ***現代日本語書き言葉均衡コーパス（BCCWJ）とは -BCCWJについて、まず最小限のことを説明します。 -[[BCCWJ少納言>http://shonagon.ninjal.ac.jp]] --登録不要 --文字列検索のみ --500例まで表示 -[[BCCWJ中納言>http://chunagon.ninjal.ac.jp]] --要登録 --形態論情報を使った検索 --全件（一度に最大10万例まで）ダウンロード可 ***日本語コーパスの紹介（1）コーパスとはどんなものか :狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 :広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。 -この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」 -日本語コーパス以前のデータとBCCWJの違いは -''（スライド参照）'' --[[第2回コーパスとは>https://www.dropbox.com/s/pjzsmnldan5hfpo/20140425_%E4%B8%8A%E6%99%BA%E3%83%BB%E7%AC%AC2%E5%9B%9E%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%A8%E3%81%AF.pptx]] **2014/04/18 ***イントロダクション -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/ -コーパスとは --[[国立国語研究所コーパス開発センター>http://www.ninjal.ac.jp/corpus_center/]] --[[形態素解析辞書UniDic>http://sourceforge.jp/projects/unidic/]] -デモ -「現代日本語書き言葉均衡コーパス（BCCWJ）」 --BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]] --BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]] -Excelによる集計（ピボットテーブル） -形態素解析：茶まめ／MeCab+UniDic -シラバス確認 --[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=%A5%B7%A5%E9%A5%D0%A5%B9%C5%D0%CF%BF%20%5BLOYOLA%5D%C1%B0%B4%FC.pdf&refer=%BE%E5%C3%D22014%2F%B9%F1%B8%EC%B3%D8%B1%E9%BD%ACIa]] --この授業の目的 --授業の進め方 --評価方法
