成蹊2016/日本語日本文学のためのコンピュータの履歴(No.11) - OGI-Wiki

日本語・日本文学のためのコンピュータ

日本語学・日本文学を研究していく上で必要なコンピュータの知識・技術（テキストエディタ・正規表現・表計算ソフト・文書の構造化）を学びます。　
前期2限
ogiso＠ogiso.net　←＠を@に直してください

2016/5/13

ひまわり

青空文庫パッケージのインストール

正規表現小テスト

2016/5/6

今回からUSBメモリが必須です。忘れた場合は次回までに今日の内容と同じ処理を自分でしておいて下さい。

タグ付き正規表現（再掲）

走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
  - 検索文字列：走[らりるれろっ]
  - 置換文字列：★走[らりるれろっ]
タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
授業資料/タグつき正規表現

検索文字列の中での後方参照†

検索語の中で\1を使う
- (..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
- (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ

最長一致の原則（greedy matching）†

正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：あ+ → 【\1】
  - ああああああああ →　【ああああああああ】そのせいで…
- 例：「(.+)」 → 【\1】
  - 「こんにちは」「さようなら」 →　【こんにちは」「さようなら】
- 括弧の組ごとに置換するためには「([^」]+)」 → 【\1】　のように書かなければならない
  - 「こんにちは」「さようなら」 →　【こんにちは】【さようなら】
よりかんたんに指定するには（最短一致，ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける

正規表現に関する参考資料†

サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
正規表現に関する本　amazonで検索

#amazon(4873114500) #amazon(4873113598)

（参考）タグ付き正規表現の応用：grepと置換でKWICを作る

全文検索システム「ひまわり」について

全文検索システム「ひまわり」
- ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用

ひまわりのダウンロードページ　プログラム本体
ひまわり用「青空文庫」パッケージのダウンロードページ　検索対象のデータセット

「ひまわり」の導入

動作確認

2016/4/29（祝日/授業実施日）

正規表現

今日の練習用テキストデータ
- soseki2.zip （前回と同じもの）

テキストエディタ・正規表現（文字クラス）の復習

文字クラス
- 例：読[まみむめもん]

grepと置換でKWIC(CSVファイル)を作る（簡易版）†

CSVファイルとは：テキストファイルで表を表現する用語：CSVファイル
KWIC：KeyWord In Context

正規表現のいろいろ†

授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $

正規表現の応用†

カタカナ語
- カタカナ（外来語）の形容動詞語幹
送りがなの揺れ（行う／行なう）
会話文中（"「"で始まる文中）の用例を検索する
同一文中での共起
- 全然～ない。
- もし～なら（ば）

タグ付き正規表現

走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
  - 検索文字列：走[らりるれろっ]
  - 置換文字列：★走[らりるれろっ]
タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
授業資料/タグつき正規表現

2016/4/22　　テキストエディタの利用

今回からUSBメモリを利用します。

テキストデータ（青空文庫）の配布
- soseki2.zip （今日の授業で使います）
- aozoradoc2.zip（青空文庫全テキスト・参考）
- ダウンロードしてUSBメモリに展開（解凍）してください

検索・置換、grep
- 検索で初出行を調べる
- 置換で用例数を数える
- grepで用例リストを作る
- タグジャンプで文脈を確認する
- サブフォルダのgrep

ショートカットキー†

授業資料/覚えておきたいショートカットキー

正規表現を使ってみる†

文字クラス
- 例：読[まみむめもん]
  - 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字

正規表現とは†

正規表現　＞用語
- 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
- エディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
- 特殊な文字（メタ文字）はすべて半角

授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの補集合（それ以外の文字）[^ ]

2016/04/15　テキストデータとテキストエディタ

USBメモリの準備
- 次回の授業からUSBメモリを使います。2GB（できれば4GB）以上の空きのあるUSBメモリを用意してください。

テキストデータ

すべての基本、文字が並ぶだけのデータ
- 授業資料/テキストデータとは
- バイナリファイルとテキストファイル
TXT,CSV,HTM・・・
- ファイルの種類と拡張子参考：拡張子辞典
- 拡張子(wikipedia)

授業で使うテキストデータ
- 授業資料/テキストデータ紹介

テキストエディタ†

テキストエディタとはどんなものか
- 授業資料/テキストエディタ

サクラエディタのダウンロードとインストール
- ★サクラエディタのダウンロード:sakura2.zip
  - (参考) サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/

zipファイルの展開（解凍）
- 解凍しないままでも開けるが必ず解凍すること

テキストエディタの設定
- 行の折り返し
- 行番号表示
  - スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）

練習用サンプルデータ（漱石＋芥川）
- sample.zip

2016/04/08　イントロダクション

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 http://www.ninjal.ac.jp/
- コーパス開発センター

デモ
- テキストエディタとgrep
- 全文検索システムひまわり
- Excel（ピボットテーブル）
- 形態素解析：Web茶まめ

シラバス確認
- シラバス（PDF）
- この授業の目的
- 授業の進め方
- 評価方法

授業で利用する主なソフトウェア†

ソフトウェアの種類・名前	利用目的
テキストエディタサクラエディタ sakura2	正規表現を使ったテキストの検索・整形
全文検索ソフトひまわり	データの検索
表計算ソフトExcel	ピボットテーブルによる分析・グラフ作成
ワープロWord	「スタイル」を利用したレポート作成