東京外大2010/コーパスを用いた近代日本語の調査法 (1) の履歴(No.7)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 東京外大2010/コーパスを用いた近代日本語の調査法 (1) へ行く。
  • 1 (2010-04-16 (金) 11:11:05)
  • 2 (2010-04-16 (金) 11:20:50)
  • 3 (2010-04-22 (木) 22:14:03)
  • 4 (2010-04-23 (金) 11:38:38)
  • 5 (2010-05-07 (金) 10:32:53)
  • 6 (2010-05-07 (金) 13:41:37)
  • 7 (2010-05-14 (金) 11:53:28)
  • 8 (2010-05-14 (金) 19:00:11)
  • 9 (2010-05-21 (金) 08:51:20)
  • 10 (2010-05-21 (金) 14:09:35)
  • 11 (2010-05-28 (金) 10:45:45)
  • 12 (2010-05-28 (金) 11:28:28)
  • 13 (2010-06-04 (金) 10:24:29)
  • 14 (2010-06-11 (金) 10:09:24)
  • 15 (2010-06-11 (金) 13:10:05)
  • 16 (2010-06-11 (金) 13:57:21)
  • 17 (2010-06-11 (金) 13:57:21)
  • 18 (2010-06-18 (金) 11:36:10)
  • 19 (2010-06-19 (土) 14:36:38)
  • 20 (2010-06-19 (土) 14:36:38)
  • 21 (2010-06-25 (金) 10:00:23)
  • 22 (2010-06-25 (金) 10:00:23)
  • 23 (2010-07-02 (金) 15:48:20)
  • 24 (2010-07-16 (金) 13:40:12)
  • 25 (2010-07-23 (金) 13:13:56)

---

コーパスを用いた近代日本語の調査法

教室変更のお知らせ

• 4/23より206教室（PC教室）に変更になりました。

2010/05/14 「ひまわり」と正規表現（補足） ／ 太陽コーパスの記事種別分量

高度な正規表現

• 検索語に使える正規表現は列挙型の文字クラスのみ
  • ver.1.3では他の正規表現も使えるが、インデックスが聞かないのでgrep相当の速度に落ちる
• 前文脈・後文脈では自由な正規表現が利用可能
  • Javaの正規表現が使えるのでunicodeブロックなども利用できる

• 授業資料/Himawariの正規表現

参考：太陽コーパス以外のひまわり用データ

• 青空文庫
• 新潮文庫の百冊
• 国会会議録
• 法令データベース
• etc.

• 現代日本語書き言葉均衡コーパス（BCCWJ）BCCWJモニター版

• ミニコーパスを自作する
  • えだまめ

太陽コーパスの記事種別分量

1. プリズムで記事ごとの字数を出力（単一ファイルに出力）
2. ピボットテーブルで集計
   • 年別
   • 文体別
   • ジャンル別
     • NDC大分類別 =mid(NDC,4,1)

2010/05/07 「ひまわり」の使い方と正規表現

ひまわりの検索オプション

• フィルタ
• 検索オプション
• 検索キーワードと前後文脈の使い分け

ひまわりで利用できる正規表現

• 正規表現とは＞用語
• 授業資料/正規表現
• 授業資料/Himawariの正規表現

例題

• 「みたようだ」と「みたいだ」をピボットテーブルで集計
• 表記のバリエーションに正規表現で対応
  • [見み]た[やよ]う[だなに]　[見み]た[様樣][だなに]
    • [見み]た([やよ]う|[様樣])[だなに]（ひまわりは非対応）
• 活用形別に集計（Right関数で）★→次回

2010/04/30 休講

2010/04/23 「太陽コーパス」のプログラムとデータ形式

• ディスクの中に何が入っているか

収録されているプログラム

• 全文検索システム「ひまわり」
  • XML形式のデータの全文検索ツール
  • あらかじめインデックス（suffix arrayによる）を作るので検索が高速
• XMLデータを直接扱うツール
  • 変換ツール「プリズム」
    • XSLTスタイルシートで形式を変換したり情報を抽出したりする
    • テキストファイルやHTMLなどに変換できる
  • 検索ツール「たんぽぽ」
    • ルビを開いた検索ができる
    • XMLを直接上からなめて行くので遅いが、XMLへの修正は即座に反映される

• 多くの場合には「ひまわり」で利用できれば十分なので、今回は「ひまわり」の単純な利用法を紹介する
  • (XSLTについては後日)

とりあえずの使い方（「ひまわり」）

• 【注意】かならずハードディスクやUSBメモリなど書き込み可能なメディアにコピーしてから使う
• Vista以降の新しいOSでは、ひまわり（JRE）をバージョンアップする必要がある(ver.1.3)

1. ひまわりを起動
2. 検索
3. 検索結果をExcelにコピー
4. ゴミを削除後ピボットテーブルで集計

• 検索結果画面でダブルクリックすると本文が見られる
• 検索には正規表現が利用可能（制限あり）
  • (正規表現については後日)

データの形式

• XML形式の文書定義
• XMLとは
  • Extensible Markup Language (Wikipedia)

• 参考
  • たのしいXML
  • 授業資料/コンピュータ言語

2010/04/16 イントロダクション

自己紹介

• 国立国語研究所（NINJAL）
• 国語研コーパスの紹介（KOTONOHA）
  • 現代日本語書き言葉均衡コーパス（BCCWJ）
    • 特定領域 日本語コーパス
  • 日本語話し言葉コーパス（CSJ）
  • 太陽コーパス（明治・大正期の総合雑誌）
    • 近代女性雑誌コーパス
  • 通時コーパス（設計中）
    • cf.Oxford

デモンストレーション

• 太陽コーパス（プリズム）
• 近代文語UniDic（形態素解析）＋Excel
• 利用例
  • 東京外大2009-12-02

授業について

• シラバス

• 受講者アンケート
  • 専門・関心領域
  • PCスキル