日本言語研究（講義）
コーパス日本語学入門
- 前期 金2 （2単位）
- 連絡先：ogiso＠ogiso.net
2011/06/03 全文検索システム「ひまわり」
「ひまわり」とは†
ひまわりとデータのセットアップ
ひまわりと正規表現†
- 「ひまわり」で使用できる正規表現
- 検索語/キー：普通の文字と、文字クラスの一部([あいう]のようなもの。[あ-う]のような範囲指定は不可)
- 前文脈/後文脈：ほぼ全ての正規表現
- 「本文(grep)」を指定することですべての正規表現が利用可能
- ただしインデックスが利用できないので検索に時間がかかる
2011/05/27 タグ付き正規表現
- 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろ]
- 置換文字列：★走[らりるれろ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
最長一致の原則（greedy matching）と最小一致†
- 正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：「(.+)」 → 【\1】
- 「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
- 「([^」]+)」 → 【\1】 のように書けばよい
- 「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
- 最短一致を指定するには（ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける
後方参照
テキストデータのダウンロード
2011/05/20 正規表現を使う
正規表現とは
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタキャラクタ）
- 置換・検索・grepで利用できる
- メタキャラクタはすべて半角
- キャラクタそのものを表す場合には\でエスケープする（特別な意味を打ち消す）
- 例：1\+2 ※「\」は「￥」の半角
- 授業資料/正規表現
- Unicodeでは漢字の正規表現は次のものを使ってください
正規表現の応用†
- 漢語サ変動詞を検索する
- カタカナ語のリストを作る
- 副詞の呼応の例を検索する 「全然～ない。」
- 会話文中（"「"で始まる文中）の用例を検索する
- 同一文中での共起
#amazon(4873111706)
#amazon(4873113598)
2011/05/13 テキストエディタと正規表現
復習
ショートカットキー†
grepと置換で簡易KWIC(CSVファイル)を作る†
- CSVファイルとは：テキストファイルで表を表現する
用語：CSVファイル
- KWIC：KeyWord In Context
正規表現
正規表現を使ってみる†
- キャラクタクラス
- 例：読[まみむめもん]
- 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字
2011/05/06 テキストエディタ
テキストエディタ†
- テキストエディタとはどんなものか
- テキストエディタ選び
テキストエディタの利用
- テキストエディタの設定
- 行の折り返し
- 行番号表示
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
2011/04/22 テキストファイルとテキストエディタ
先週の補足
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
授業で利用する主なソフトウェア†
| テキストエディタ | 検索・整形 |
| 全文検索ソフトひまわり | 検索・分析 |
| 表計算ソフトExcel | 分析・グラフ作成 |
| ワープロWord | 「スタイル」を利用したレポート作成 |
テキストデータ
2011/04/15 イントロダクション
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
