日本語学講義(I) 日本語コーパス研究入門†
【重要】BCCWJモニター公開データを申し込んでください。†
持ち帰り用データ†
- 授業フォルダの「持ち帰り用」フォルダ内にある「ひまわり」のデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。
第4回 2010/05/13 正規表現
正規表現のいろいろ†
- 授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $
正規表現の応用†
- カタカナ語
- 送りがなの揺れ（行う／行なう）
- 全然～ない。
- 会話文中（「で始まる）
タグ付き正規表現†
- 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろ]
- 置換文字列：★走[らりるれろ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
検索語の中での後方参照†
- 検索語の中で\1を使う
- (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
最長一致の原則（greedy matching）†
- 正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：「(.+)」 → 【\1】
- 「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
- 「([^」]+)」 → 【\1】 のように書けばよい
- 「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
- 最短一致を指定するには（ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の後に「?」をつける
正規表現に関する本†
- amazonで検索
- 正規表現にはアプリケーションソフトやプログラミング言語ごとに多くの方言があるので注意
#amazon(4873111706)
#amazon(4873113598)
5/6：休講
4/29：祝日
- 次の授業まで間が空きますので、次の資料を読み、なるべく実際に試して予習しておいてください。
第3回 2010/04/22 テキストエディタの利用†
復習
- 検索で初出行を調べる
- 置換で用例数を数える
- grepとタグジャンプ
grepと置換でKWIC（CSVファイル）を作る†
- grep結果の保存
- grep結果の置換による整形
- CSVファイルとは：テキストファイルで表を表現する
用語：CSVファイル
- KWICとは：KeyWord In Context
ショートカットキー†
おすすめテキストエディタ†
正規表現とは†
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
(つづく)
第2回 2010/04/15 テキストデータとテキストエディタ
最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。
（補足）「コーパス」について†
この授業ではBCCWJ（モニター公開版）のほかに、青空文庫・国会会議録などの広義のコーパス、自作のミニコーパスなども取り扱います。
- 狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- Kotonoha (BCCWJ / CSJ / 太陽コーパス)
- 広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
- Webデータ
- 検索サイトの利用
- WAC（Web as Corpus）
テキストデータ†
全ての基本。テキストデータ≒テキストファイル≒電子化テキスト
#amazon(4894762994)
テキストファイルと拡張子†
テキストエディタ†
テキストエディタの基礎†
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
- 検索と置換、grep
2010/04/08 イントロダクション†
- 授業の進め方について
- 受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。
- シラバス確認
授業で利用する主なソフトウェア†
このほかにWeb上で利用できるサービスも取り上げます。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
