成蹊2011/日本語日本文学のためのコンピュータa の履歴(No.10)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 成蹊2011/日本語日本文学のためのコンピュータa へ行く。
  • 1 (2011-09-29 (木) 22:30:16)
  • 2 (2011-09-29 (木) 22:50:53)
  • 3 (2011-10-07 (金) 14:02:29)
  • 4 (2011-10-07 (金) 14:54:09)
  • 5 (2011-10-14 (金) 00:16:12)
  • 6 (2011-10-14 (金) 14:39:16)
  • 7 (2011-10-27 (木) 16:05:59)
  • 8 (2011-10-28 (金) 14:56:57)
  • 9 (2011-11-03 (木) 22:16:02)
  • 10 (2011-11-18 (金) 09:33:55)
  • 11 (2011-11-24 (木) 14:51:28)
  • 12 (2011-11-26 (土) 16:44:14)
  • 13 (2011-12-01 (木) 18:01:31)
  • 14 (2011-12-08 (木) 19:06:58)
  • 15 (2011-12-09 (金) 14:55:47)
  • 16 (2011-12-15 (木) 18:21:09)
  • 17 (2011-12-23 (金) 11:00:52)
  • 18 (2012-05-07 (月) 00:34:00)

---

成蹊2011

日本語日本文学のためのコンピュータa

• 日本語・日本文学を学んでいくうえでぜひ身につけておきたいコンピュータに関する知識・技術を学びます。
• 後期・金曜4限
• 連絡先： seikei@ogiso.net

2011/11/18　第6回 全文検索システムひまわり

「ひまわり」とは†

• 「ひまわり」　国立国語研究所/言語データベースとソフトウェア/ひまわり
• ただのテキストファイル（プレーンテキスト）ではなく、XML形式にして、インデックスを付けた専用のデータを利用
• 「ひまわり」を授業フォルダに入れ、青空文庫などを検索できるようにしてあります。

データの準備

• 青空文庫（XHTML）データ
• WebCollaborationからUSBメモリにダウンロード

ひまわりと正規表現†

• 「ひまわり」で使用できる正規表現
  • 検索語/キー：普通の文字と、文字クラスの一部([あいう]のようなもの。[あ-う]のような範囲指定は不可)
  • 前文脈/後文脈：ほぼ全ての正規表現

11月11日は海外出張のため休講です

2011/11/04　第5回 正規表現の応用・タグ付き正規表現

正規表現の応用†

• カタカナ語
• 送りがなの揺れ（行う／行なう）
• 全然～ない。
• 会話文中（「で始まる）

• 授業資料/正規表現
  • 会話文中（"「"で始まる文中）の用例を検索する
  • 同一文中での共起

タグ付き正規表現

• 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
  • 次のように置換するととんでもないことに…
    • 検索文字列：走[らりるれろ]
    • 置換文字列：★走[らりるれろ]
• タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
• 授業資料/タグつき正規表現

タグ付き正規表現の応用

• （参考）タグ付き正規表現の応用：grepと置換でKWICを作る

最長一致の原則（greedy matching）†

• 正規表現は、パターンが一致する最も長い範囲にマッチする
  • 例：「(.+)」 → 【\1】
    • 「こんにちは」「さようなら」 →　【こんにちは」「さようなら】
  • 「([^」]+)」 → 【\1】　のように書けばよい
    • 「こんにちは」「さようなら」 →　【こんにちは】【さようなら】
• 最短一致を指定するには（ものぐさ指定）
  • 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける

正規表現に関する参考資料†

• サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
• 正規表現に関する本　amazonで検索

#amazon(4873111706) #amazon(4873113598)

ひまわり

• デモ
• 動作チェック

2011/10/28　第4回 正規表現

復習

• 検索で初出行を調べる
• 置換で用例数を数える
• grepとタグジャンプ

正規表現とは†

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタ文字）
  • 置換・検索・grepで利用できる
  • 記号はすべて半角
  • 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2

• 文字クラス [ ]
  • 文字クラスの補集合（それ以外の文字）[^ ]

正規表現のいろいろ†

• 授業資料/正規表現
  • 文字クラス [ ]
  • 文字クラスの否定（補集合）[^ ]
  • 繰り返し ? + *
  • グループ化 ()
  • or（論理和） |
  • 文頭 ^、文末 $

2011/10/20（木）　金曜日不足分授業日　（休講）

• 金曜日不足分授業日ですが、都合が付かないため休講とします。

2011/10/14　第3回 テキストエディタの利用

• テキストデータ（青空文庫）の配布
  • Web Collaboration : /temporary/ogiso

• 検索・置換、grep
  • 検索で初出行を調べる
  • 置換で用例数を数える
  • grepで用例リストを作る
  • タグジャンプで文脈を確認する

ショートカットキー†

• 授業資料/覚えておきたいショートカットキー

grepと置換でKWIC(CSVファイル)を作る（簡易版）†

• CSVファイルとは：テキストファイルで表を表現する 用語：CSVファイル
• KWIC：KeyWord In Context

正規表現を使ってみる†

• キャラクタクラス
  • 例：読[まみむめもん]
    • 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字

2011/10/07　第2回 テキストデータとテキストエディタ

• 授業ページへのショートカット
• 出席のチェック
• USBメモリの準備

（前回補足）デモンストレーション†

• 青空文庫＋ひまわり→Excelピボットテーブル

  前文脈

  キー

  後文脈

  著者

  タイトル

  著者ID

  生年

  没年

  原著者

  原著者ID

  仮名遣い

  コーパス名

テキストデータ

• すべての基本、文字が並ぶだけのデータ
  • 授業資料/テキストデータとは
  • バイナリファイルとテキストファイル
• TXT,CSV,HTM・・・
  • ファイルの種類と拡張子 参考：拡張子辞典
  • 拡張子(wikipedia)

• 授業で使うテキストデータ
  • 授業資料/テキストデータ紹介

テキストエディタ†

• テキストエディタとはどんなものか
  • 授業資料/テキストエディタ

• サクラエディタのダウンロードとインストール
  • サクラエディタのダウンロード:sakura2.zip
    • サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/

• テキストエディタの設定
  • 行の折り返し
  • 行番号表示
    • スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）

• 練習用サンプルデータ
  • soseki.zip

2011/09/27　第1回 ガイダンス

• 自己紹介
  • 国立国語研究所
  • 国語研コーパスの紹介（KOTONOHA）
  • BCCWJ少納言

• シラバス確認 （→リンク）
  • この授業の目的
  • 授業の進め方
  • 評価方法

• 前期の日本語学講義Eとの違い
  • できあがったコーパスを利用する（前期） vs. できるだけ自分で何とかする（後期）

授業で利用する主なソフトウェア†