日本語学講義(I) 日本語コーパス研究†
第12回 2008/12/19 発表と討議 第3回†
発表と討議†
http://www.nier.go.jp/saka/casmil.htm
第11回 2008/12/12 発表と討議 第2回†
発表と討議†
近代語のデータと解析辞書†
- 近代女性雑誌コーパス
- 太陽コーパスと同時代の女性雑誌の資料。無償（要申し込み）。
- 近代文語UniDic
- UniDicをもとにして近代文語文を解析できるようにした形態素解析辞書。無償（アンケート後ダウロード）。
第10回 2008/12/5 発表と討議 第1回 ／ データベースソフトを使う†
発表と討議†
データベースソフトを使う†
第9回 2008/11/28 形態素解析とデータベースソフト†
後半に向けて†
茶まめで形態素解析†
- 準備
- 茶まめで解析してみる（MeCab＋UniDic）
- Excelに出力する
- ピボットテーブルで集計する
Microsoft Access（データベースソフト）†
第8回 2008/11/21 形態素解析†
- 新・授業フォルダ（NAS）
- 配付資料
- シリーズ国語研究の現場から「日本語研究と自動形態素解析」
- BCCWJモニター版案内
復習：Excelでの集計†
- ひまわりで検索する
- Excelに貼り付ける
- 列を整える
- ピボットテーブルで集計する
形態素解析とは†
- 形態素解析器（解析エンジン・プログラム）
- 解析辞書
- NAIST-jdic (IPADIC)
- UniDic
- 茶まめ（解析用GUIツール）
茶まめで形態素解析（デモ）†
- 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
- Excelに出力する
- ピボットテーブルで集計する
第7回 2008/11/14 Excelでの集計†
持ち帰り用データ†
- 授業フォルダの「持ち帰り用」フォルダ内にあるHimawariとそのデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。
Excel†
- 関数を使う
- =left([文字列],[文字数])
- 生没年（1867-1916）から10年ごとの生まれた年代（1860）を取り出すには
- 用例の分類と集計
- 分類記号を入れる列を用意し、自分で入力する
- ピボットテーブルで入力した分類を使う
後半の発表・レポートに向けて†
- あと2回ほどで前半（ツールとその使い方に関する説明）を終えます。
- 後半の発表とレポートに向けて、どのような資料を使い、どのようなテーマを扱うか考えておいてください。
おすすめエディタ†
第6回 2008/11/7 「ひまわり」とExcel†
正規表現・補足†
全文検索ソフト「ひまわり」の利用†
「ひまわり」で使用できる正規表現†
- 応用：「ひまわり」の検索結果を正規表現を使った置換で加工する
| 前文脈 | キー | 後文脈 | タイトル | 著者 | 著者ID | 生没年 | 原著者 | 原著者ID | 仮名遣い |
表計算ソフト Excel入門†
発展：「ひまわり」用のデータを作るには†
第5回 2008/10/31 正規表現の応用・タグ付き正規表現†
正規表現のいろいろ†
- 授業資料/正規表現
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $
- 最長一致の原則（greedy matching）
タグ付き正規表現を使った置換†
- 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろ]
- 置換文字列：★走[らりるれろ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
- 利用例
- 「ー」で終わるカタカナ語の「ー」を削除する
- 動詞「表わす」の表記を「表す」に統一する
正規表現に関する本†
#amazon(4873111706)
#amazon(4873113598)
第4回 2008/10/24 正規表現†
メタ文字 ― ワイルドカードと正規表現†
- ワイルドカード ＞用語 cf.トランプのJoker
- 主にファイル名の指定で使う
- 文字を表すための文字（メタ文字） ?と* *1
正規表現とは†
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
正規表現の応用†
- カタカナ語
- 送りがなの揺れ（行う／行なう）
- 全然～ない。
第3回 2008/10/17 テキストエディタを使う†
- テキストエディタの基礎
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
- ファイルの作成と保存
- 検索と置換
- grepとその応用
- 応用
grepと置換でCSVファイルを作る†
- grep結果の置換による整形
- CSVファイルとは：テキストファイルで表を表現する
用語：CSVファイル
- CSVファイルをExcelで開く
- KWIC：KeyWord In Context
テキストファイルと拡張子†
ショートカットキー†
第2回 2008/10/10 テキストデータとテキストエディタ†
授業で利用する主なソフトウェア†
最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。
テキストデータ†
テキストデータ≒テキストファイル≒電子化テキスト
テキストエディタ†
2008/10/03 イントロダクション†
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
