東京外大2016/JapanStudies1 の履歴(No.17)

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

↑

2016/05/19

↑

短単位と長単位

配布資料参照

↑

品詞体系と見出し語の階層

BCCWJ,CHJはUniDicの品詞体系にもとづく

↑

形態論情報を使った検索

資料「中納言の使い方」参照

検索例
- 「時の経つにつれて」
- 名詞+の+動詞連体形+につれて

↑

2016/05/12

↑

コーパスの段階

電子テキスト：grep：文字列（正規表現）検索
構造化テキスト：ひまわり、少納言など：文字列（正規表現）検索
形態論情報付きコーパス：中納言、ChaKi など：形態論情報による検索（タグ検索）

↑

コーパスの設計とサンプリング

（スライド参照）
- コーパスの設計とサンプリング

均衡コーパス（Balanced corpus）
- 「バランスがとれている」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
著作権をめぐる問題

↑

「少納言」で正規表現を使う

「現代日本語書き言葉均衡コーパス（BCCWJ）」
- 少納言
  - 前後文脈の指定について

↑

BCCWJ「中納言」登録申請

ユーザー登録の申請（new!）　https://chunagon.ninjal.ac.jp/useraccount/register

↑

2016/04/28

復習
- サンプルデータsoseki2.zip （前回と同じ）
- 文字クラス、grep

↑

正規表現のいろいろ†

授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $

↑

正規表現の応用†

カタカナ語
- カタカナ（外来語）の形容動詞語幹
送りがなの揺れ（行う／行なう）
会話文中（"「"で始まる文中）の用例を検索する
同一文中での共起
- 全然～ない。
- もし～なら（ば）

↑

grepと置換でKWIC(CSVファイル)を作る（簡易版）†

CSVファイルとは：テキストファイルで表を表現する用語：CSVファイル
KWIC：KeyWord In Context

↑

タグ付き正規表現

走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
  - 検索文字列：走[らりるれろっ]
  - 置換文字列：★走[らりるれろっ]
タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
授業資料/タグつき正規表現

↑

検索文字列の中での後方参照†

検索語の中で\1を使う
- (..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
- (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ

↑

最長一致の原則（greedy matching）†

正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：あ+ → 【\1】
  - ああああああああ →　【ああああああああ】そのせいで…
- 例：「(.+)」 → 【\1】
  - 「こんにちは」「さようなら」 →　【こんにちは」「さようなら】
- 括弧の組ごとに置換するためには「([^」]+)」 → 【\1】　のように書かなければならない
  - 「こんにちは」「さようなら」 →　【こんにちは】【さようなら】
よりかんたんに指定するには（最短一致，ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける

↑

正規表現に関する参考資料†

サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
正規表現に関する本　amazonで検索

#amazon(4873114500) #amazon(4873113598)

↑

2016/04/21

今回からUSBメモリを使います。

↑

テキストエディタ

テキストデータ（青空文庫）の配布
- soseki2.zip （今日の授業で使います）
- aozoradoc2.zip（青空文庫全テキスト・参考）
- ダウンロードしてUSBメモリに展開（解凍）してください

検索・置換、grep
- 検索で初出行を調べる
- 置換で用例数を数える
- grepで用例リストを作る
- タグジャンプで文脈を確認する
- サブフォルダのgrep

↑

ショートカットキー†

授業資料/覚えておきたいショートカットキー

↑

正規表現を使ってみる†

文字クラス
- 例：読[まみむめもん]
  - 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字

↑

正規表現とは†

正規表現　＞用語
- 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
- エディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
- 記号はすべて半角
- 記号そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2