成蹊2015
- 後期・金曜2限
- ogiso＠ogiso.net ←＠を@に直してください
日本語学講義F
2015/12/04
レポート課題の調査と小発表の準備
- 考えてきたテーマについて、実際に用例を検索してレポート作成の準備を進めます。
- 積極的に質問して下さい。
形態素解析
Web茶まめで形態素解析・Excelで集計
- 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
- Excelに出力する
- ピボットテーブルで集計する
- テキストのジャンルと語種，品詞の割合をグラフ化してみる
- ブログのテキストと新聞記事のテキストの解析結果を比較
2015/11/27
レポートテーマについて
- 考えてきたテーマを聞き、コメントします。（今後変更があっても構いません）
BCCWJ利用の落とし穴
- BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
- レジスターによって母集団の年が違っている
- 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ
- もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
- cf.人口あたりの事故件数，１平方キロあたりの…etc.
調整頻度の計算
- 粗頻度を総語数で割る
- レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
- 調整頻度には100万語あたりの頻度（pmw）が比較的よく使われる
ランダムサンプリング調査(Excelでの集計・補足)
- 大量に用例があり、調査内容からすべて対象にできない場合
- ランダムに並べ替え→先頭n例を調査対象に
- ランダムな数字の列： =RAND()
- ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される
NINJAL LWP for BCCWJの紹介
補足
2015/11/13
検索の例つづき
検索の例
キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ"))
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"
キー: (語彙素="男性" OR 語彙素 = "女性")
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"
- 以下は長単位で検索（unit="2"）。一括検索なのでzipファイルに圧縮される。
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 = "男性") ON 1 WORDS FROM キー
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 = "女性") ON 1 WORDS FROM キー
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 = "男" AND 語彙素読み="オトコ") ON 1 WORDS FROM キー
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: (語彙素 = "女" AND 語彙素読み = "オンナ") ON 1 WORDS FROM キー
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
レポートテーマについて
- 次回までにレポートテーマを考えてくること（全員に聞きます）
- 普段から見聞きする言葉に気をつけるとともに、図書館も活用すること
- ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく
表記
- 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
- 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？文体差？
- 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ
類義語・対義語
- 「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い）
- 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
- 「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析
語形、語法
- 「好ましい」「好もしい」・・・語形の揺れと文体差
- 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件
新語・意味変化
- 「断トツ」「定番」「夜ご飯」・・・新語の広がり
- 「役不足」「確信犯」・・・”誤用”と”正用”
2015/11/06
「中納言」の利用：形態論情報を使った検索 つづき
- 配布資料「『中納言』概説・実習」最後まで
- 資料はポータルの「授業資料」からダウンロードできます。
検索条件式
キー: 語彙素 = "奇麗" IN core="true" WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"
検索結果をExcelで利用する
「中納言」検索結果のダウンロードとExcelでの利用
- ダウンロード
- Excelでインポート
Excelの基礎
【重要】ピボットテーブルの使い方
「検索課題」
2015/10/30
「中納言」の利用つづき
- 前回配布資料「『中納言』の使い方」つづき （ポータルの「授業資料」からダウンロードできます）
2015/10/23
「中納言」の利用：形態論情報を使った検索
- 配布資料「『中納言』の使い方」 （ポータルの「授業資料」からダウンロードできます）
- 配布資料は次回以降も使いますので必ず持ってきてください。
2015/10/09
- 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。
コーパスの形態論情報
2015/10/02
「中納言」利用申込み
日本語コーパスの紹介（2） コーパスの設計とサンプリング
- （スライド参照） 第2回コーパスの設計とサンプリング
- 均衡コーパス（Balanced corpus）
- 「バランスがとれている」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題
参考リンク
- 英語のコーパス リファレンス
- 現代日本語書き言葉均衡コーパス（BCCWJ）
2015/9/25
「中納言」利用申込み
- 申込用紙を配布します。押印して次回、必ず持ってきてください。
現代日本語書き言葉均衡コーパス（BCCWJ）とは
- BCCWJについて、まず最小限のことを説明します。
日本語コーパスの紹介（1）コーパスとはどんなものか
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
- 日本語コーパス以前のデータとBCCWJの違いは
2015/09/18
イントロダクション
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
