上智2015/国語学演習IIIa
をテンプレートにして作成
開始行:
[[上智2015]]
*国語学演習IIIa / コーパス日本語学入門
-前期・金曜4限
-ogiso＠ogiso.net ←＠を@に直してください
-BCCWJ中納言 https://chunagon.ninjal.ac.jp/
**期末レポートについて
-締切：8月7日（金）
-提出先：メールで直接送付（必ず返信を確認すること）
-分量：A4用紙で3～10枚
-メール・Wordファイルの両方に氏名・学籍番号を明記すること
--Wordファイルのサイズが大きくなりすぎる場合には、PDFファ...
**2015/07/17 最終回
-レポート完成に向けて作業を進めながら積極的に質問してくだ...
***Wordでレポートを書く
-文書の構造化*
--スタイルと見出し
--ナビゲーション ウィンドウ（見出しマップ）の使い方
--章・節番号
-図表の貼り込み*
--「形式を選択して貼り付け」
--図表番号とキャプション
-脚注
--脚注と文末脚注
-相互参照
--節番号、図表番号と相互参照
--目次、図表目次
**2015/7/9
***小レポート講評・質問対応
***レポート作成のためのコーパス検索・調査
-小レポートの調査結果をふまえ、実際に用例を検索してレポー...
-授業中、1億語全体の検索は極力避けて下さい。
***NINJAL LWP for BCCWJの紹介
-http://nlb.ninjal.ac.jp/
-ワードプロファイラー
-語の振る舞いの概略を見るのに手軽で便利
-注意点
--UniDicの見出し語体系でない（＝本来のBCCWJではない）
--自動係り受け解析結果は形態素解析以上に誤りが多い
------
**6/26, 7/3の休講の代替措置について
+6/26までに期末レポートに向けた調査テーマを決め、メールで...
--どのような語を調査するのかできるだけ具体的に書くこと
--テーマについて質問がある場合や、複数のテーマを検討中の...
+7/6までに上記のテーマの調査結果（小レポート）をメールに...
--小レポートにはコーパスの調査結果（検索結果をピボットテ...
--Wordではファイルサイズが大きくなるため、PDF形式で保存し...
**2015/6/19
***BCCWJ利用の落とし穴
-BCCWJはあくまでも「現代語」のためのコーパスなので通時的...
--レジスターによって母集団の年が違っている
---レジスターの偏りを年代の偏りと勘違いしないこと
--30年あるのは白書・ベストセラー・国会会議録など一部のも...
-もともとテキスト量の多いレジスターにたくさん用例があるか...
--cf.人口あたりの事故件数，１平方キロあたりの…etc.
--データ：語彙素「矢張り」 [[kwic-yahari.zip>https://www...
***調整頻度の計算
-粗頻度を総語数で割る
--レジスターごとの語数データ：中納言ページの「語数につい...
---語数ファイルをピボットテーブルで集計して分母に
-調整頻度には100万語あたりの頻度が比較的よく使われる
--粗頻度/総語数*1000000
---数字が小さくなりすぎないようにするため
-※割合の違いを比較するだけなら調整頻度を出す必要はない。
***ランダムサンプリング調査
--大量に用例があり、調査内容からすべて対象にできない場合
--ランダムに並べ替え→先頭n例を調査対象に
---ランダムな数字の列： =RAND()
---ランダムな数字の列をコピーして「値として貼り付ける」と...
***重複の削除
-用例数ではなく、用例が一つでも出現したサンプルの数を調べ...
-「データ」→「重複の削除
**2015/6/12
***Excelによる集計・つづき
-複数の検索結果の結合
--例：蒲公英・向日葵・菫
---[[データダウンロード kwic-flowers.zip>http://www.ogiso...
-集計用の列を自分で用意する
--例：表記（ひらがな・かたかな・漢字）別集計
***Excelの文字列関数とIF関数
-例：ジャンル（NDC）の整理
--先頭の文字を取り出す（NDCの一次区分（＝類））
---=LEFT(<ジャンルのセル>,1)
--スラッシュで区切られた最初の部分（ジャンルの大分類）
---=LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)
-集計用に用意した列で文字列処理関数を利用する
--LEFT
--RIGHT
--MID
--LEN
--SEARCH
--SUBSTITUTE
-条件わけ：IF
-エラー対応：IFERROR
-応用例：品詞の大分類を使う
--=IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)
**レポートテーマについて
-次回までにレポートテーマを考えてくること
-他の授業で取り上げられたテーマや普段から見聞きする言葉に...
-図書館も活用すること
-ひとつの言葉から、同種の別の語や違う観点からの観察などへ...
***表記
--「雀」「すずめ」「スズメ」動植物名の表記・・・レジスタ...
--「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？レ...
--「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せ...
***類義語・対義語
--「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味...
--「うるさい」「やかましい」「さわがしい」「かしましい」...
--「男性」と「女性」（「男」と「女」）・・・語彙の非対称...
***語形、語法
--「好ましい」「好もしい」・・・語形の揺れと文体差
--「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙...
***新語・意味変化
--「断トツ」「定番」「夜ご飯」・・・新語の広がり
--「役不足」「確信犯」・・・”誤用”と”正用”
**2015/6/5
-6/26, 7/3休講について
***復習
+「中納言」による検索
+Excelでインポート
+ピボットテーブルで集計
--語形レベルでの集計
---例：exhibition [[データダウンロード kwic-Exhibition.zi...
***検索の例
-男と女のレジスタ分布 [[データ kwic-MaleFemale.zip>https...
--男性と女性
--男と女と形容詞
--短単位で検索（unit="1"）
キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR ...
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
キー: (語彙素="男性" OR 語彙素 = "女性")
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
--以下は長単位で検索（unit="2"）
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 ...
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オ...
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
**2015/5/29
-先週の宿題：実際に検索、質問
***検索結果をExcelで利用する
-前々回資料（4.）参照
***Excelの基礎
-並べ替え
--反転前文脈の使い方
-フィルタ
--テキストフィルタ
***「中納言」検索結果のダウンロードとExcelでの利用
+ダウンロード
+アーカイブの展開（解凍）
+Excelでインポート
-[[kwic-150529.zip>http://www.ogiso.net/wiki/index.php?pl...
キー: 品詞 LIKE "矢張り"
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfS...
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF...
キー: 品詞 LIKE "形容詞%" AND 前方共起: 語彙素 = "割合" ...
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelf...
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UT...
***【重要】ピボットテーブルの使い方
-ピボットテーブル
-ピボットグラフ
**2015/5/22
-BCCWJ中納言の契約書を返却します。
***「中納言」の利用（続き）
-資料「『中納言』の使い方」 2.7～
***検索条件式の利用
キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords...
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UT...
**2015/5/15
***「中納言」の利用：形態論情報を使った検索
-配布資料「短単位と長単位」
-配布資料「『中納言』の使い方」
**2015/5/8
-''出席について''
***「中納言」アカウント確認
-先週申し込んだ人にはアカウントを発行しました。メールを確...
-ログインできない人は連絡を。
**コーパスの形態論情報
***短単位と長単位
//-''（配付資料）''参照
-''（スライド）''参照
***品詞体系
-BCCWJはUniDicの品詞体系↓ にもとづく
-----
#include(授業資料/UniDicの品詞体系,notitle)
-----
#include(授業資料/UniDicの見出し語階層,notitle)
-----
***形態論情報を活かした検索
-「中納言」での指定方法
//-資料「『中納言』概説・実習」参照
**2015/05/01
***BCCWJ「中納言」アカウントについて
-先週申し込んだ人にはアカウントを発行しました。メールを確...
--誤って発行された『日本語歴史コーパス』（CHJ）のアカウン...
***日本語コーパスの紹介（2） コーパスの設計とサンプリング
-''（スライド参照）''
--[[第3回コーパスの設計とサンプリング>https://dl.dropboxu...
-均衡コーパス（Balanced corpus）
--「バランスがとれている」とは？
--コーパスの母集団の設定とサンプリング
--BCCWJのサブコーパス
--可変長と固定長
-著作権をめぐる問題
***参考リンク
-英語のコーパス リファレンス
--[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/...
--[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/doc...
-現代日本語書き言葉均衡コーパス（BCCWJ）
--[[現代日本語書き言葉均衡コーパス：概要>http://pj.ninjal...
--[[現代日本語書き言葉均衡コーパス：サンプリング>http://p...
**2015/04/24
***BCCWJ「中納言」申込み
下記の書類は授業で配布しますが、書き損じた場合などには下...
-申込書（この授業用） [[BCCWJ_ApplicationForm.doc>http://...
-契約書 [[BCCWJ_ContractOnline.pdf>http://pj.ninjal.ac.jp...
--契約書は両面印刷で2部必要。表面にも記入欄があるので注意
***現代日本語書き言葉均衡コーパス（BCCWJ）とは
-BCCWJについて、まず最小限のことを説明します。
-[[BCCWJ少納言>http://shonagon.ninjal.ac.jp]]
--登録不要
--文字列検索のみ
--500例まで表示
-[[BCCWJ中納言>http://chunagon.ninjal.ac.jp]]
--要登録
--形態論情報を使った検索
--全件（一度に最大10万例まで）ダウンロード可
***日本語コーパスの紹介（1）コーパスとはどんなものか
:狭義のコーパス|言語研究を目的として収集され、言語研究の...
:広義のコーパス|コンピュータ上で利用可能な大規模な言語デ...
-この授業で扱うのは狭義のコーパス。中でも「現代日本語書き...
-日本語コーパス以前のデータとBCCWJの違いは
-''（スライド参照）''
--[[第2回コーパスとは>https://dl.dropboxusercontent.com/u...
**2015/04/17
***イントロダクション
-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 htt...
-コーパスとは
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.a...
--[[形態素解析辞書UniDic>http://sourceforge.jp/projects/u...
-デモ
-「現代日本語書き言葉均衡コーパス（BCCWJ）」
--BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-Excelによる集計（ピボットテーブル）
-形態素解析：茶まめ／MeCab+UniDic
-シラバス確認
--[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=a...
--この授業の目的
--授業の進め方
--評価方法
終了行:
[[上智2015]]
*国語学演習IIIa / コーパス日本語学入門
-前期・金曜4限
-ogiso＠ogiso.net ←＠を@に直してください
-BCCWJ中納言 https://chunagon.ninjal.ac.jp/
**期末レポートについて
-締切：8月7日（金）
-提出先：メールで直接送付（必ず返信を確認すること）
-分量：A4用紙で3～10枚
-メール・Wordファイルの両方に氏名・学籍番号を明記すること
--Wordファイルのサイズが大きくなりすぎる場合には、PDFファ...
**2015/07/17 最終回
-レポート完成に向けて作業を進めながら積極的に質問してくだ...
***Wordでレポートを書く
-文書の構造化*
--スタイルと見出し
--ナビゲーション ウィンドウ（見出しマップ）の使い方
--章・節番号
-図表の貼り込み*
--「形式を選択して貼り付け」
--図表番号とキャプション
-脚注
--脚注と文末脚注
-相互参照
--節番号、図表番号と相互参照
--目次、図表目次
**2015/7/9
***小レポート講評・質問対応
***レポート作成のためのコーパス検索・調査
-小レポートの調査結果をふまえ、実際に用例を検索してレポー...
-授業中、1億語全体の検索は極力避けて下さい。
***NINJAL LWP for BCCWJの紹介
-http://nlb.ninjal.ac.jp/
-ワードプロファイラー
-語の振る舞いの概略を見るのに手軽で便利
-注意点
--UniDicの見出し語体系でない（＝本来のBCCWJではない）
--自動係り受け解析結果は形態素解析以上に誤りが多い
------
**6/26, 7/3の休講の代替措置について
+6/26までに期末レポートに向けた調査テーマを決め、メールで...
--どのような語を調査するのかできるだけ具体的に書くこと
--テーマについて質問がある場合や、複数のテーマを検討中の...
+7/6までに上記のテーマの調査結果（小レポート）をメールに...
--小レポートにはコーパスの調査結果（検索結果をピボットテ...
--Wordではファイルサイズが大きくなるため、PDF形式で保存し...
**2015/6/19
***BCCWJ利用の落とし穴
-BCCWJはあくまでも「現代語」のためのコーパスなので通時的...
--レジスターによって母集団の年が違っている
---レジスターの偏りを年代の偏りと勘違いしないこと
--30年あるのは白書・ベストセラー・国会会議録など一部のも...
-もともとテキスト量の多いレジスターにたくさん用例があるか...
--cf.人口あたりの事故件数，１平方キロあたりの…etc.
--データ：語彙素「矢張り」 [[kwic-yahari.zip>https://www...
***調整頻度の計算
-粗頻度を総語数で割る
--レジスターごとの語数データ：中納言ページの「語数につい...
---語数ファイルをピボットテーブルで集計して分母に
-調整頻度には100万語あたりの頻度が比較的よく使われる
--粗頻度/総語数*1000000
---数字が小さくなりすぎないようにするため
-※割合の違いを比較するだけなら調整頻度を出す必要はない。
***ランダムサンプリング調査
--大量に用例があり、調査内容からすべて対象にできない場合
--ランダムに並べ替え→先頭n例を調査対象に
---ランダムな数字の列： =RAND()
---ランダムな数字の列をコピーして「値として貼り付ける」と...
***重複の削除
-用例数ではなく、用例が一つでも出現したサンプルの数を調べ...
-「データ」→「重複の削除
**2015/6/12
***Excelによる集計・つづき
-複数の検索結果の結合
--例：蒲公英・向日葵・菫
---[[データダウンロード kwic-flowers.zip>http://www.ogiso...
-集計用の列を自分で用意する
--例：表記（ひらがな・かたかな・漢字）別集計
***Excelの文字列関数とIF関数
-例：ジャンル（NDC）の整理
--先頭の文字を取り出す（NDCの一次区分（＝類））
---=LEFT(<ジャンルのセル>,1)
--スラッシュで区切られた最初の部分（ジャンルの大分類）
---=LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)
-集計用に用意した列で文字列処理関数を利用する
--LEFT
--RIGHT
--MID
--LEN
--SEARCH
--SUBSTITUTE
-条件わけ：IF
-エラー対応：IFERROR
-応用例：品詞の大分類を使う
--=IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)
**レポートテーマについて
-次回までにレポートテーマを考えてくること
-他の授業で取り上げられたテーマや普段から見聞きする言葉に...
-図書館も活用すること
-ひとつの言葉から、同種の別の語や違う観点からの観察などへ...
***表記
--「雀」「すずめ」「スズメ」動植物名の表記・・・レジスタ...
--「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？レ...
--「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せ...
***類義語・対義語
--「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味...
--「うるさい」「やかましい」「さわがしい」「かしましい」...
--「男性」と「女性」（「男」と「女」）・・・語彙の非対称...
***語形、語法
--「好ましい」「好もしい」・・・語形の揺れと文体差
--「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙...
***新語・意味変化
--「断トツ」「定番」「夜ご飯」・・・新語の広がり
--「役不足」「確信犯」・・・”誤用”と”正用”
**2015/6/5
-6/26, 7/3休講について
***復習
+「中納言」による検索
+Excelでインポート
+ピボットテーブルで集計
--語形レベルでの集計
---例：exhibition [[データダウンロード kwic-Exhibition.zi...
***検索の例
-男と女のレジスタ分布 [[データ kwic-MaleFemale.zip>https...
--男性と女性
--男と女と形容詞
--短単位で検索（unit="1"）
キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR ...
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
キー: (語彙素="男性" OR 語彙素 = "女性")
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
--以下は長単位で検索（unit="2"）
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 ...
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オ...
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfS...
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16L...
**2015/5/29
-先週の宿題：実際に検索、質問
***検索結果をExcelで利用する
-前々回資料（4.）参照
***Excelの基礎
-並べ替え
--反転前文脈の使い方
-フィルタ
--テキストフィルタ
***「中納言」検索結果のダウンロードとExcelでの利用
+ダウンロード
+アーカイブの展開（解凍）
+Excelでインポート
-[[kwic-150529.zip>http://www.ogiso.net/wiki/index.php?pl...
キー: 品詞 LIKE "矢張り"
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfS...
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF...
キー: 品詞 LIKE "形容詞%" AND 前方共起: 語彙素 = "割合" ...
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelf...
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UT...
***【重要】ピボットテーブルの使い方
-ピボットテーブル
-ピボットグラフ
**2015/5/22
-BCCWJ中納言の契約書を返却します。
***「中納言」の利用（続き）
-資料「『中納言』の使い方」 2.7～
***検索条件式の利用
キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords...
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UT...
**2015/5/15
***「中納言」の利用：形態論情報を使った検索
-配布資料「短単位と長単位」
-配布資料「『中納言』の使い方」
**2015/5/8
-''出席について''
***「中納言」アカウント確認
-先週申し込んだ人にはアカウントを発行しました。メールを確...
-ログインできない人は連絡を。
**コーパスの形態論情報
***短単位と長単位
//-''（配付資料）''参照
-''（スライド）''参照
***品詞体系
-BCCWJはUniDicの品詞体系↓ にもとづく
-----
#include(授業資料/UniDicの品詞体系,notitle)
-----
#include(授業資料/UniDicの見出し語階層,notitle)
-----
***形態論情報を活かした検索
-「中納言」での指定方法
//-資料「『中納言』概説・実習」参照
**2015/05/01
***BCCWJ「中納言」アカウントについて
-先週申し込んだ人にはアカウントを発行しました。メールを確...
--誤って発行された『日本語歴史コーパス』（CHJ）のアカウン...
***日本語コーパスの紹介（2） コーパスの設計とサンプリング
-''（スライド参照）''
--[[第3回コーパスの設計とサンプリング>https://dl.dropboxu...
-均衡コーパス（Balanced corpus）
--「バランスがとれている」とは？
--コーパスの母集団の設定とサンプリング
--BCCWJのサブコーパス
--可変長と固定長
-著作権をめぐる問題
***参考リンク
-英語のコーパス リファレンス
--[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/...
--[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/doc...
-現代日本語書き言葉均衡コーパス（BCCWJ）
--[[現代日本語書き言葉均衡コーパス：概要>http://pj.ninjal...
--[[現代日本語書き言葉均衡コーパス：サンプリング>http://p...
**2015/04/24
***BCCWJ「中納言」申込み
下記の書類は授業で配布しますが、書き損じた場合などには下...
-申込書（この授業用） [[BCCWJ_ApplicationForm.doc>http://...
-契約書 [[BCCWJ_ContractOnline.pdf>http://pj.ninjal.ac.jp...
--契約書は両面印刷で2部必要。表面にも記入欄があるので注意
***現代日本語書き言葉均衡コーパス（BCCWJ）とは
-BCCWJについて、まず最小限のことを説明します。
-[[BCCWJ少納言>http://shonagon.ninjal.ac.jp]]
--登録不要
--文字列検索のみ
--500例まで表示
-[[BCCWJ中納言>http://chunagon.ninjal.ac.jp]]
--要登録
--形態論情報を使った検索
--全件（一度に最大10万例まで）ダウンロード可
***日本語コーパスの紹介（1）コーパスとはどんなものか
:狭義のコーパス|言語研究を目的として収集され、言語研究の...
:広義のコーパス|コンピュータ上で利用可能な大規模な言語デ...
-この授業で扱うのは狭義のコーパス。中でも「現代日本語書き...
-日本語コーパス以前のデータとBCCWJの違いは
-''（スライド参照）''
--[[第2回コーパスとは>https://dl.dropboxusercontent.com/u...
**2015/04/17
***イントロダクション
-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 htt...
-コーパスとは
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.a...
--[[形態素解析辞書UniDic>http://sourceforge.jp/projects/u...
-デモ
-「現代日本語書き言葉均衡コーパス（BCCWJ）」
--BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-Excelによる集計（ピボットテーブル）
-形態素解析：茶まめ／MeCab+UniDic
-シラバス確認
--[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=a...
--この授業の目的
--授業の進め方
--評価方法
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
