東京外大2010/コーパスを用いた近代日本語の調査法 (1) の履歴(No.6) - OGI-Wiki

コーパスを用いた近代日本語の調査法

教室変更のお知らせ

4/23より206教室（PC教室）に変更になりました。

2010/05/07 「ひまわり」の使い方と正規表現

ひまわりの検索オプション

フィルタ
検索オプション
検索キーワードと前後文脈の使い分け

ひまわりで利用できる正規表現

例題

「みたようだ」と「みたいだ」をピボットテーブルで集計
表記のバリエーションに正規表現で対応
- [見み]た[やよ]う[だなに]　[見み]た[様樣][だなに]
  - ~~[見み]た([やよ]う|[様樣])[だなに]~~（ひまわりは非対応）
活用形別に集計（Right関数で）

前文脈

キー

後文脈

雑誌名

年

号

題名

著者

位置

欄名

ジャンル

文体

話者

種別

参考：太陽コーパス以外のひまわり用データ

青空文庫
新潮文庫の百冊
国会会議録
法令データベース
etc.

ミニコーパスを自作する

2010/04/30 休講

2010/04/23 「太陽コーパス」のプログラムとデータ形式

ディスクの中に何が入っているか

収録されているプログラム

全文検索システム「ひまわり」
- XML形式のデータの全文検索ツール
- あらかじめインデックス（suffix arrayによる）を作るので検索が高速
XMLデータを直接扱うツール
- 変換ツール「プリズム」
  - XSLTスタイルシートで形式を変換したり情報を抽出したりする
  - テキストファイルやHTMLなどに変換できる
- 検索ツール「たんぽぽ」
  - ルビを開いた検索ができる
  - XMLを直接上からなめて行くので遅いが、XMLへの修正は即座に反映される

多くの場合には「ひまわり」で利用できれば十分なので、今回は「ひまわり」の単純な利用法を紹介する
- (XSLTについては後日)

とりあえずの使い方（「ひまわり」）

【注意】かならずハードディスクやUSBメモリなど書き込み可能なメディアにコピーしてから使う
Vista以降の新しいOSでは、ひまわり（JRE）をバージョンアップする必要がある(ver.1.3)

ひまわりを起動
検索
検索結果をExcelにコピー
ゴミを削除後ピボットテーブルで集計

検索結果画面でダブルクリックすると本文が見られる
検索には正規表現が利用可能（制限あり）
- (正規表現については後日)

データの形式

XML形式の文書定義
XMLとは
- Extensible Markup Language (Wikipedia)

参考
- たのしいXML
- 授業資料/コンピュータ言語

2010/04/16 イントロダクション

自己紹介

国立国語研究所（NINJAL）
国語研コーパスの紹介（KOTONOHA）
- 現代日本語書き言葉均衡コーパス（BCCWJ）
  - 特定領域日本語コーパス
- 日本語話し言葉コーパス（CSJ）
- 太陽コーパス（明治・大正期の総合雑誌）
  - 近代女性雑誌コーパス
- 通時コーパス（設計中）
  - cf.Oxford

デモンストレーション

太陽コーパス（プリズム）
近代文語UniDic（形態素解析）＋Excel
利用例
- 東京外大2009-12-02

授業について

シラバス

受講者アンケート
- 専門・関心領域
- PCスキル