東京外大2016/JapanStudies1 の履歴(No.6) - OGI-Wiki

2016東京外大

Japan Studies 1：コーパス日本語学入門

前期・木曜4限
ogiso＠ogiso.net　←＠を@に直してください

2016/04/21

今回からUSBメモリを使います。

テキストエディタ

テキストデータ（青空文庫）の配布
- soseki2.zip （今日の授業で使います）
- aozoradoc2.zip（青空文庫全テキスト・参考）
- ダウンロードしてUSBメモリに展開（解凍）してください

検索・置換、grep
- 検索で初出行を調べる
- 置換で用例数を数える
- grepで用例リストを作る
- タグジャンプで文脈を確認する
- サブフォルダのgrep

ショートカットキー†

授業資料/覚えておきたいショートカットキー

正規表現を使ってみる†

文字クラス
- 例：読[まみむめもん]
  - 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字

正規表現とは†

正規表現　＞用語
- 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
- エディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
- 記号はすべて半角
- 記号そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2

文字クラス [ ]
- 文字クラスの補集合（それ以外の文字）[^ ]

授業資料/正規表現

2016/04/14

次回以降、USBメモリ（少なくとも2GB以上）を持ってきてください。

「コーパス」について†

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
Web上のデータ
- 検索サイトの利用
- WAC（Web as Corpus）

紙の資料からコーパスまで

(紙の)本文
(紙の)総索引（コンコーダンス）
電子テキスト
構造化テキスト
形態論情報付きコーパス

テキストファイル

テキストデータとはどんなものか
- 授業資料/テキストデータとは
- 授業資料/テキストデータ紹介（広義のコーパス）
テキストエディタ
- 授業資料/テキストエディタ

サクラエディタのダウンロードとインストール
- サクラエディタのダウンロード:sakura2.zip
  - (参考) サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/

zipファイルの展開（解凍）
- 解凍しないままでも開けるが必ず解凍すること

テキストエディタの設定
- 行の折り返し
- 行番号表示
  - スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）

練習用サンプルデータ（漱石＋芥川）
- sample.zip

プレーンテキストからタグ付きテキストへ

2000年代（タグ付きテキスト「コーパス」へ）
- 狭義の「コーパス」登場
  - 『太陽コーパス』2005

2016/04/07

イントロダクション/日本語コーパスの紹介

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 http://www.ninjal.ac.jp/
コーパスとは
- 国立国語研究所コーパス開発センター
- 形態素解析辞書UniDic

デモ
「現代日本語書き言葉均衡コーパス（BCCWJ）」
- BCCWJ少納言
- BCCWJ中納言
- Web茶まめ
Excelによる集計（ピボットテーブル）

シラバス確認
- この授業の目的
- 授業の進め方
- 評価方法