一橋2008 の履歴(No.6) - OGI-Wiki

授業に関するメールはこちらへ。小木曽智信： ogiso@ogiso.net
授業資料/用語集リンク（わからないコンピュータ用語を調べてください）
授業フォルダ \\Servercai-1\SharedDocs\cai_share\日本語コーパス

日本語学講義(I) 日本語コーパス研究†

第4回　2008/10/24　正規表現†

秀丸エディタの使い方(PDF)

メタ文字 ― ワイルドカードと正規表現†

ワイルドカード　＞用語　　cf.トランプのJoker
- 主にファイル名の指定で使う
- 文字を表すための文字（メタ文字） ?と* *1

?	任意の１文字
*	任意の長さの文字列

正規表現とは†

正規表現　＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2

正規表現のいろいろ：†

授業資料/正規表現
- 繰り返し
- グループ化
最長一致の原則（greedy matching）

正規表現に関する参考資料
- K2Editorでの正規表現の解説 http://www4.ocn.ne.jp/~kaerume/k2e/regex_top.html
- 正規表現に関する本　amazonで検索

#amazon(4873111706) #amazon(4873113598)

正規表現の応用†

課題
- 送りがなの揺れ（行う／行なう）
- 私はで始まりした。で終わる行
- 会話（「で始まる）
- 全然～ない

参考：grepと置換でKWICを作る

第3回　2008/10/17　テキストエディタを使う†

テキストエディタの基礎
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
- ファイルの作成と保存
- 検索と置換
grepとその応用
- grep
- タグジャンプ
- grep結果の保存
応用
- 検索で初出行を調べる
- 置換で用例数を数える

grepと置換でCSVファイルを作る†

grep結果の置換による整形
CSVファイルとは：テキストファイルで表を表現する用語：CSVファイル
CSVファイルをExcelで開く
KWIC：KeyWord In Context

テキストファイルと拡張子†

拡張子(wikipedia)
拡張子辞典：http://jisyo.com/viewer/list/list.html
TXT,CSV,HTM・・・

ショートカットキー†

授業資料/覚えておきたいショートカットキー

第2回　2008/10/10　テキストデータとテキストエディタ†

共有フォルダの確認

授業で利用する主なソフトウェア†

秀丸エディタ	テキストエディタ	検索・整形
ひまわり	全文検索ソフト	検索・分析
MeCab	形態素解析ソフト	形態素解析
UniDic	形態素解析辞書	形態素解析
Excel	表計算ソフト	集計・分析・グラフ作成
Access	データベースソフト	集計・分析

最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。

テキストデータ†

テキストデータ≒テキストファイル≒電子化テキスト

テキストデータとはどんなものか
- 授業資料/テキストデータとは
- 授業資料/テキストデータ紹介
  - 参考『国会会議録を使った日本語研究』

授業資料/文字コード関連リンク

テキストエディタ†

テキストエディタとはどんなものか
- 授業資料/テキストエディタ

2008/10/03 イントロダクション†

自己紹介
国語研コーパスの紹介

授業の進め方について
- シラバス確認

デモ
- 形態素解析＋Excel

受講者アンケート
- 専門・関心領域
- PCスキル

*1 ワイルドカードの「?」「*」は、後で説明する正規表現の「?」「*」とは意味が違うので注意。ワイルドカードの「?」は正規表現で「.」、「*」は「.*」。