東京外大2011 の履歴(No.21)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 東京外大2011 へ行く。
  • 1 (2011-04-14 (木) 21:32:43)
  • 2 (2011-04-14 (木) 21:33:13)
  • 3 (2011-04-21 (木) 23:27:38)
  • 4 (2011-04-22 (金) 08:25:28)
  • 5 (2011-04-22 (金) 11:46:21)
  • 6 (2011-05-06 (金) 07:16:17)
  • 7 (2011-05-06 (金) 11:04:00)
  • 8 (2011-05-06 (金) 11:42:43)
  • 9 (2011-05-12 (木) 16:41:20)
  • 10 (2011-05-15 (日) 12:18:09)
  • 11 (2011-05-19 (木) 15:50:21)
  • 12 (2011-05-20 (金) 10:56:01)
  • 13 (2011-05-24 (火) 10:52:38)
  • 14 (2011-05-26 (木) 22:26:47)
  • 15 (2011-06-02 (木) 16:34:33)
  • 16 (2011-06-02 (木) 23:45:10)
  • 17 (2011-06-03 (金) 10:14:43)
  • 18 (2011-06-09 (木) 15:05:40)
  • 19 (2011-06-10 (金) 11:49:13)
  • 20 (2011-06-10 (金) 11:50:01)
  • 21 (2011-06-17 (金) 06:30:25)
  • 22 (2011-06-17 (金) 11:20:46)
  • 23 (2011-06-23 (木) 21:06:14)
  • 24 (2011-06-24 (金) 00:37:17)
  • 25 (2011-06-24 (金) 10:54:19)
  • 26 (2011-06-30 (木) 22:20:09)
  • 27 (2011-07-01 (金) 10:13:33)
  • 28 (2011-07-05 (火) 12:00:05)
  • 29 (2011-07-08 (金) 08:06:59)
  • 30 (2011-07-09 (土) 15:04:01)
  • 31 (2011-07-14 (木) 22:49:36)
  • 32 (2011-07-15 (金) 11:36:36)
  • 33 (2011-07-16 (土) 01:39:27)
  • 34 (2012-05-07 (月) 00:34:25)

---

日本言語研究（講義）

コーパス日本語学入門

• 前期 金2 （2単位）
• 連絡先：ogiso＠ogiso.net

2011/06/17　(9) 「ひまわり」の検索結果の集計２

復習

• ひまわりとExcelピボットテーブルの組み合わせ
• 例：「それぎり」と「それきり」

応用・意味に関わる分析

• 分類用のフィールドを作って集計する
  • 例：「新聞紙」の意味・用法の変化
    • ランダム→先頭100

文字列関数

• 文字列関数で必要な情報を取り出す
  • 年代=left(<year>,3)*10

エディタの応用

• ひまわりの検索結果をエディタ（正規表現を使った置換）で加工する

相対頻度の計算

• Himawari版青空文庫・文字数データ
  Aozora2009GWchars.xls

2011/06/10　(8) 「ひまわり」の検索結果の集計 ／ 正規表現小テスト

Excel

• 並び替え・絞り込み
• ピボットテーブル

• 列名（青空文庫）

  前文脈

  キー

  後文脈

  著者

  タイトル

  著者ID

  生年

  没年

  原著者

  原著者ID

  仮名遣い

  コーパス

「ひまわり」用追加データ

• 国会会議録ひまわり用データ
  • ダウンロードkokkai.zip

正規表現小テスト

2011/06/03　(7) 全文検索システム「ひまわり」

「ひまわり」とは†

• 「ひまわり」　国立国語研究所/言語データベースとソフトウェア/ひまわり
  • ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用

ひまわりとデータのセットアップ

• ひまわり本体と青空文庫（XHTML版）データ
  • ダウンロードHimawari+aozora.zip
    • USBメモリにダウンロード

ひまわりと正規表現†

• 「ひまわり」で使用できる正規表現
  • 検索語/キー：普通の文字と、文字クラスの一部([あいう]のようなもの。[あ-う]のような範囲指定は不可)
  • 前文脈/後文脈：ほぼ全ての正規表現

• 「本文(grep)」を指定することですべての正規表現が利用可能
  • ただしインデックスが利用できないので検索に時間がかかる

検索とExcelでの集計デモ

• ○○的[なの]
  • ○○的の連体修飾の形が「な」「の」どちらをとるか

2011/05/27　(6) タグ付き正規表現

• 午後から出張のため少し早めに終わります。

• 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
  • 次のように置換するととんでもないことに…
    • 検索文字列：走[らりるれろ]
    • 置換文字列：★走[らりるれろ]
• タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
• 授業資料/タグつき正規表現

最長一致の原則（greedy matching）と最小一致†

• 正規表現は、パターンが一致する最も長い範囲にマッチする
  • 例：「(.+)」 → 【\1】
    • 「こんにちは」「さようなら」 →　【こんにちは」「さようなら】
  • 「([^」]+)」 → 【\1】　のように書けばよい
    • 「こんにちは」「さようなら」 →　【こんにちは】【さようなら】
• 最短一致を指定するには（ものぐさ指定）
  • 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける

後方参照

• (..)\1

テキストデータのダウンロード

• 青空文庫テキストデータ(unicode版)

2011/05/20　(5) 正規表現を使う

正規表現とは

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタキャラクタ）
  • 置換・検索・grepで利用できる
    • メタキャラクタはすべて半角
    • キャラクタそのものを表す場合には\でエスケープする（特別な意味を打ち消す）
    • 例：1\+2　※「\」は「￥」の半角
• 授業資料/正規表現
• Unicodeでは漢字の正規表現は次のものを使ってください
  • [一-龠]

正規表現の応用†

• 漢語サ変動詞を検索する
• カタカナ語のリストを作る
• 副詞の呼応の例を検索する 「全然～ない。」
• 会話文中（"「"で始まる文中）の用例を検索する
• 同一文中での共起

#amazon(4873111706) #amazon(4873113598)

2011/05/13　(4) テキストエディタと正規表現

復習

• 検索・置換
• grepとタグジャンプ

ショートカットキー†

• 授業資料/覚えておきたいショートカットキー

grepと置換で簡易KWIC(CSVファイル)を作る†

• CSVファイルとは：テキストファイルで表を表現する 用語：CSVファイル
• KWIC：KeyWord In Context

正規表現

正規表現を使ってみる†

• キャラクタクラス
  • 例：読[まみむめもん]
    • 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字

2011/05/06　(3) テキストエディタ

• 授業資料/テキストデータ紹介

• 参考:文字化けはなぜ起きるか（日経パソコンPC online）

テキストエディタ†

• テキストエディタとはどんなものか
  • 授業資料/テキストエディタ
• テキストエディタ選び
  • Sakura Editor

テキストエディタの利用

• サンプルデータ（青空文庫夏目漱石unicode版）のダウンロード

• 圧縮ファイルの展開（解凍）
  • 圧縮・展開ソフト（アーカイバ 用語）

• テキストエディタの設定
  • 行の折り返し
  • 行番号表示
    • スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）

• 検索・置換、grep
  • 検索で初出行を調べる
  • 置換で用例数を数える

• USBメモリ（1GB以上の空き）の準備

2011/04/22　(2) テキストファイルとテキストエディタ

• 授業ページへのショートカット

先週の補足

• コーパスとは

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

授業で利用する主なソフトウェア†

• デモ
  • コーパス検索ツール：中納言
  • 形態素解析

テキストデータ

• 授業資料/テキストデータとは
• バイナリファイルとテキストファイル
• ファイルの種類と拡張子 参考：拡張子辞典
• 拡張子(wikipedia)
• テキストファイルとHTML

• TXT,CSV,HTM・・・

• 授業で使うテキストデータ

2011/04/15　(1) イントロダクション

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
• コーパスとは
  • 日本語コーパスKOTONOHA
  • KOTONOHA検索デモサイト
  • 形態素解析辞書UniDic

• シラバス確認
  • この授業の目的
  • 授業の進め方
  • 評価方法