日本語学講義(I) 日本語コーパス研究†
【重要】BCCWJモニター公開データを申し込んでください。†
今後の予定（あくまでも予定です）†
- 第8回 関係データベース
- 関係データベースとは
- 形態素解析結果をデータベースに読み込む
- 解析結果の比較・分析
- 第7回 形態素解析
- 形態素解析とは
- UniDicを使う
- 解析結果の利用（Excel）
- 第6回 ミニコーパスを作る
- 自分でミニコーパスを作るには
- マークアップ言語
- HTML,XML
- 「えだまめ」の利用
- 第5回 「ひまわり」と表計算ソフトの利用
- 「ひまわり」の利用
- 「ひまわり」の正規表現
- Excelの基本操作
- オートフィルタ
- ピボットテーブル・ピボットグラフ
- 関数の利用
- エディタと組み合わせて使う
第4回 2009/05/01 正規表現†
正規表現とは†
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2
正規表現のいろいろ†
- 授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $
- 最長一致の原則（greedy matching）について
正規表現の応用†
- カタカナ語
- 送りがなの揺れ（行う／行なう）
- 全然～ない。
- 会話文（「で始まる）
タグ付き正規表現†
- 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろ]
- 置換文字列：★走[らりるれろ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
正規表現に関する本†
#amazon(4873111706)
#amazon(4873113598)
第3回 2009/04/24 テキストエディタの利用†
grepと置換でKWIC（CSVファイル）を作る†
- grep結果の置換による整形
- CSVファイルとは：テキストファイルで表を表現する
用語：CSVファイル
- CSVファイルをExcelで開く
- KWIC：KeyWord In Context
テキストファイルと拡張子†
ショートカットキー†
正規表現とは†
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
(続きは次回)
第2回 2009/04/17 テキストデータとテキストエディタ†
コーパスについて†
この授業ではBCCWJ（モニター公開版）・太陽コーパスのほか、青空文庫・国会会議録などの広義のコーパスも取り扱う。
- 狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- Kotonoha (BCCWJ / CSJ / 太陽コーパス)
- 広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
- さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
- Webデータ
- 検索サイトの利用
- WAC（Web as Corpus）
授業で利用する主なソフトウェア†
このほかにWeb上で利用できるサービスも取り上げます。
最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。
テキストデータ†
全ての基本。テキストデータ≒テキストファイル≒電子化テキスト
#amazon(4894762994)
テキストエディタ†
テキストエディタの基礎†
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
- 検索と置換
- grep
2009/04/10 イントロダクション†
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
