日本語学講義(I) 日本語コーパス研究†
お知らせ†
【重要】BCCWJモニター公開データを申し込んでください。†
後半の発表・レポートに向けて†
- 後半の発表とレポートに向けて、どのような資料を使い、どのようなテーマを扱うか考えておいてください。
持ち帰り用データ†
- 授業フォルダの「持ち帰り用」フォルダ内にある「ひまわり」のデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。
- ★都合により5/15, 5/29 の授業は少し早めに終わります。
今後の予定（あくまでも予定です）†
- 関係データベース
- 関係データベースとは
- Access
- 形態素解析結果をデータベースに読み込む
- 解析結果の比較・分析
- クエリの作成・SQL
第9回 2009/06/05 形態素解析†
- 配付資料
- シリーズ国語研究の現場から「日本語研究と自動形態素解析」
形態素解析とは†
- 形態素解析器（解析エンジン・プログラム）
- 解析辞書
- NAIST-jdic (IPADIC)
- UniDic
- 茶まめ（解析用GUIツール）
茶まめで形態素解析・Excelで集計
- 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
- Excelに出力する
- ピボットテーブルで集計する
第8回 2009/05/30 ミニコーパスを作る†
「ひまわり」用のデータを作るには†
既存のデータを「ひまわり」用に変換する†
第7回 2009/05/22 「ひまわり」とExcelの利用(2) / 発表課題の検討†
Excelを使った集計†
- 用例の分類と集計
- 分類記号を入れる列を用意し、自分で入力する
- ピボットテーブルで入力した分類を使う
- 関数を使う
- =left([文字列],[文字数])
- 生没年（1867-1916）から10年ごとの生まれた年代（1860）を取り出すには
発表課題について†
第6回 2009/05/15 「ひまわり」とExcelの利用(1)†
全文検索ソフト「ひまわり」の利用†
「ひまわり」で使用できる正規表現†
- 授業資料/Himawariの正規表現
- 検索語/キー：普通の文字と、列挙型の文字クラス([あいう]のようなもの。[あ-う]のような範囲指定は不可)
- 前文脈/後文脈：ほぼ全ての正規表現
| 前文脈 | キー | 後文脈 | タイトル | 著者 | 著者ID | 生没年 | 原著者 | 原著者ID | 仮名遣い | コーパス名 |
表計算ソフト Excel入門†
Excelを使った集計†
テキストエディタと組み合わせて使う†
- エディタと組み合わせて使う
- 特定の列をエディタにコピーして正規表現を使った置換を行う
第5回 2009/05/08 高度な正規表現†
タグ付き正規表現（復習）†
- 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろ]
- 置換文字列：★走[らりるれろ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
- （参考）タグ付き正規表現の応用：grepと置換でKWICを作る
検索語の中での後方参照†
- 検索語の中で\1を使う
- (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
最長一致の原則（greedy matching）†
- 正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：「(.+)」 → 【\1】
- 「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
- 「([^」]+)」 → 【\1】 のように書けばよい
- 「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
- 最短一致を指定するには（ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の後に「?」をつける
正規表現に関する本†
- amazonで検索
- 正規表現にはアプリケーションソフトやプログラミング言語ごとに多くの方言があるので注意
#amazon(4873111706)
#amazon(4873113598)
おすすめテキストエディタ†
全文検索ソフト「ひまわり」の利用†
第4回 2009/05/01 正規表現†
正規表現とは†
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2
正規表現のいろいろ†
- 授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $
正規表現の応用†
- カタカナ語
- 送りがなの揺れ（行う／行なう）
- 全然～ない。
- 会話文中（「で始まる）
タグ付き正規表現†
- 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろ]
- 置換文字列：★走[らりるれろ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
第3回 2009/04/24 テキストエディタの利用†
grepと置換でKWIC（CSVファイル）を作る†
- grep結果の置換による整形
- CSVファイルとは：テキストファイルで表を表現する
用語：CSVファイル
- CSVファイルをExcelで開く
- KWIC：KeyWord In Context
テキストファイルと拡張子†
ショートカットキー†
正規表現とは†
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
(続きは次回)
第2回 2009/04/17 テキストデータとテキストエディタ†
コーパスについて†
この授業ではBCCWJ（モニター公開版）・太陽コーパスのほか、青空文庫・国会会議録などの広義のコーパスも取り扱う。
- 狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- Kotonoha (BCCWJ / CSJ / 太陽コーパス)
- 広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
- さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
- Webデータ
- 検索サイトの利用
- WAC（Web as Corpus）
授業で利用する主なソフトウェア†
このほかにWeb上で利用できるサービスも取り上げます。
最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。
テキストデータ†
全ての基本。テキストデータ≒テキストファイル≒電子化テキスト
#amazon(4894762994)
テキストエディタ†
テキストエディタの基礎†
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
- 検索と置換
- grep
2009/04/10 イントロダクション†
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
