一橋2008 の履歴(No.20) - OGI-Wiki

授業に関するメールはこちらへ。小木曽智信： ogiso@ogiso.net
授業資料/用語集リンク（わからないコンピュータ用語を調べてください）

日本語学講義(I) 日本語コーパス研究†

第11回　2008/12/12　発表と討議第2回†

発表と討議†

第10回　2008/12/5　発表と討議1 第1回／データベースソフトを使う†

発表と討議†

データベースソフトを使う†

リレーショナルデータベースの考え方
- 表の結合
- 表の正規化

第9回　2008/11/28　形態素解析とデータベースソフト†

後半に向けて†

発表順決め
発表テーマの検討

茶まめで形態素解析†

準備
- 教室版「茶まめ」の準備（解析器と辞書はサーバ上）
茶まめで解析してみる（MeCab＋UniDic）
Excelに出力する
ピボットテーブルで集計する

Microsoft Access（データベースソフト）†

データを取り込む

取り込んだデータの利用（サンプルDBを使う）
- 表とクエリ
- 表の結合

第8回　2008/11/21　形態素解析†

新・授業フォルダ（NAS）
配付資料
- シリーズ国語研究の現場から「日本語研究と自動形態素解析」
- BCCWJモニター版案内
  - 申し込みは各自郵送で行ってください

復習：Excelでの集計†

ひまわりで検索する
- 正規表現
Excelに貼り付ける
列を整える
- 文字列関数
ピボットテーブルで集計する

形態素解析とは†

形態素解析器（解析エンジン・プログラム）
- 茶筌（ChaSen）
- 和布蕪（MeCab）
解析辞書
- NAIST-jdic (IPADIC)
- UniDic
  - 近代文語UniDic
茶まめ（解析用GUIツール）

茶まめで形態素解析（デモ）†

茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
Excelに出力する
ピボットテーブルで集計する

第7回　2008/11/14　Excelでの集計†

持ち帰り用データ†

授業フォルダの「持ち帰り用」フォルダ内にあるHimawariとそのデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。

Excel†

ピボットテーブルを使う
- 参考：http://office.microsoft.com/ja-jp/excel/CH062528071041.aspx

関数を使う
- =left([文字列],[文字数])
- 生没年（1867-1916）から10年ごとの生まれた年代（1860）を取り出すには
  - =left([生没年],3)*10

用例の分類と集計
1. 分類記号を入れる列を用意し、自分で入力する
2. ピボットテーブルで入力した分類を使う

グラフの種類について
- http://office.microsoft.com/ja-jp/help/HA012337371041.aspx
- 扱う対象・方法に適したグラフを選択する上記URL参照

Excelの使い方全般について
- Excel 2003 のヘルプと使い方
- Excelトレーニング（Microsoft）

後半の発表・レポートに向けて†

あと2回ほどで前半（ツールとその使い方に関する説明）を終えます。
後半の発表とレポートに向けて、どのような資料を使い、どのようなテーマを扱うか考えておいてください。

おすすめエディタ†

フリーウェア
- K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
- Apsalyテキストエディタ http://www.vector.co.jp/soft/win95/writing/se423509.html 【SJIS】
- サクラエディタ http://sakura-editor.sourceforge.net/ 【SJIS】unicode版開発中
シェアウェア
- EmEditor http://jp.emeditor.com/ 4,200円
- 秀丸エディタ http://hide.maruo.co.jp/software/hidemaru.html 4,200円

第6回　2008/11/7　「ひまわり」とExcel†

正規表現・補足†

（参考）タグ付き正規表現の応用：grepと置換でKWICを作る

全文検索ソフト「ひまわり」の利用†

「ひまわり」　国立国語研究所/言語データベースとソフトウェア/ひまわり
「ひまわり」を授業フォルダに入れ、青空文庫を検索できるようにしてあります。

「ひまわり」で使用できる正規表現†

授業資料/Himawariの正規表現
検索語/キー：普通の文字と、列挙型の文字クラス([あいう]のようなもの。[あ-う]は不可)
前文脈/後文脈：ほぼ全ての正規表現

応用：「ひまわり」の検索結果を正規表現を使った置換で加工する

前文脈

キー

後文脈

タイトル

著者

著者ID

生没年

原著者

原著者ID

仮名遣い

表計算ソフト Excel入門†

並べ替え
オートフィルタ
- オートフィルタの「オプション」

発展：「ひまわり」用のデータを作るには†

第5回　2008/10/31　正規表現の応用・タグ付き正規表現†

正規表現のいろいろ†

授業資料/正規表現
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $
最長一致の原則（greedy matching）

応用例
- 会話文（「で始まる）

タグ付き正規表現を使った置換†

走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
  - 検索文字列：走[らりるれろ]
  - 置換文字列：★走[らりるれろ]
タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
授業資料/タグつき正規表現

利用例
- 「ー」で終わるカタカナ語の「ー」を削除する
- 動詞「表わす」の表記を「表す」に統一する

正規表現に関する本†

amazonで検索

#amazon(4873111706) #amazon(4873113598)

第4回　2008/10/24　正規表現†

秀丸エディタの使い方(PDF)

メタ文字 ― ワイルドカードと正規表現†

ワイルドカード　＞用語　　cf.トランプのJoker
- 主にファイル名の指定で使う
- 文字を表すための文字（メタ文字） ?と* *1

?	任意の１文字
*	任意の長さの文字列

正規表現とは†

正規表現　＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2

文字クラス [ ]
文字クラスの否定（補集合）[^ ]
繰り返し ? + *

正規表現の応用†

カタカナ語
送りがなの揺れ（行う／行なう）
全然～ない。

第3回　2008/10/17　テキストエディタを使う†

テキストエディタの基礎
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
- ファイルの作成と保存
- 検索と置換
grepとその応用
- grep
- タグジャンプ
- grep結果の保存
応用
- 検索で初出行を調べる
- 置換で用例数を数える

grepと置換でCSVファイルを作る†

grep結果の置換による整形
CSVファイルとは：テキストファイルで表を表現する用語：CSVファイル
CSVファイルをExcelで開く
KWIC：KeyWord In Context

テキストファイルと拡張子†

拡張子(wikipedia)
拡張子辞典：http://jisyo.com/viewer/list/list.html
TXT,CSV,HTM・・・

ショートカットキー†

授業資料/覚えておきたいショートカットキー

第2回　2008/10/10　テキストデータとテキストエディタ†

共有フォルダの確認

授業で利用する主なソフトウェア†

秀丸エディタ	テキストエディタ	検索・整形
ひまわり	全文検索ソフト	検索・分析
MeCab	形態素解析ソフト	形態素解析
UniDic	形態素解析辞書	形態素解析
Excel	表計算ソフト	集計・分析・グラフ作成
Access	データベースソフト	集計・分析

最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。

テキストデータ†

テキストデータ≒テキストファイル≒電子化テキスト

テキストデータとはどんなものか
- 授業資料/テキストデータとは
- 授業資料/テキストデータ紹介
  - 参考『国会会議録を使った日本語研究』

授業資料/文字コード関連リンク

テキストエディタ†

テキストエディタとはどんなものか
- 授業資料/テキストエディタ

2008/10/03 イントロダクション†

自己紹介
国語研コーパスの紹介

授業の進め方について
- シラバス確認

デモ
- 形態素解析＋Excel

受講者アンケート
- 専門・関心領域
- PCスキル

*1 ワイルドカードの「?」「*」は、後で説明する正規表現の「?」「*」とは意味が違うので注意。ワイルドカードの「?」は正規表現で「.」、「*」は「.*」。