成蹊2019/日本語日本文学のためのコンピュータ
の履歴(No.10)
履歴一覧
差分
を表示
現在との差分
を表示
ソース
を表示
成蹊2019/日本語日本文学のためのコンピュータ
へ行く。
1 (2019-09-27 (金) 08:51:31)
2 (2019-09-27 (金) 08:52:53)
3 (2019-10-04 (金) 09:12:34)
4 (2019-10-11 (金) 18:03:17)
5 (2019-10-18 (金) 03:01:13)
6 (2019-10-25 (金) 19:51:15)
7 (2019-11-01 (金) 01:58:10)
8 (2019-11-01 (金) 21:11:47)
9 (2019-11-15 (金) 08:10:13)
10 (2019-11-15 (金) 21:03:01)
11 (2019-11-29 (金) 20:57:25)
12 (2019-11-29 (金) 20:58:21)
13 (2019-11-30 (土) 16:42:02)
14 (2019-12-06 (金) 13:49:41)
15 (2019-12-13 (金) 09:43:15)
16 (2019-12-20 (金) 10:54:58)
17 (2019-12-21 (土) 13:52:51)
18 (2020-01-09 (木) 19:23:30)
19 (2020-01-17 (金) 18:11:18)
成蹊2019
2019/11/29 検索結果のExcelによる集計
†
↑
Excelの基本操作(再)
†
並べ替え(ソート)
フィルター(絞り込み)
テキストフィルター
多重フィルター(複数の条件指定)
ピボットテーブル★
ピボットグラフ
↑
ひまわり検索結果をExcelで扱う
†
ピボットテーブルとピボットグラフ
例:「それきり」「それぎり」
例:「~的な」「~的の」
※「目的」「標的」などをフィルタで除去
↑
生年代による集計(通時的変化)
†
文字列処理関数の利用
例: =left(<文字列>,<文字数>)
生年代: =left(<生年月日が入っているセル>,3)*10
生年月日データの書式について
「青空文庫」の生年月日が書式の自動変換でおかしくなるのを防ぐ
1900年以前の年月日は文字列、それ以降は日付として認識される
Himawariで「すべて選択」後、「すべて選択」「コピー(列名含む)」をする
Excelで生年月日の列が貼り付けられることになる列(NとO)を丸ごと選択し、書式を「文字列」とする
Excelに貼り付ける
↑
2019/11/22 (欅祭で休み)
†
↑
2019/11/15 全文検索システム「ひまわり」
†
↑
正規表現小テスト
†
↑
「ひまわり」とその使い方
†
ひまわりの動作確認
検索方法の説明
ひまわりの正規表現について(
授業資料/Himawariの正規表現
)
ふりがなの検索
↑
ひまわり検索結果をExcelで扱う
†
例:
「気持ち」「心持ち」
↑
Excelの基本操作
†
並べ替え(ソート)
フィルター(絞り込み)
テキストフィルター
多重フィルター(複数の条件指定)
ピボットテーブル★
ピボットグラフ
↑
2019/11/8休講
†
↑
2019/10/31 やや高度な正規表現(復習)/全文検索システム「ひまわり」の導入
†
補講について
予定:12月21日(土)
↑
検索文字列の中での後方参照(復習)
†
検索語の中で\1を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
(..)\1\1
(...)\1
(参考)タグ付き正規表現の応用:
grepと置換でKWICを作る
↑
振り仮名の修正
†
授業資料/タグつき正規表現
参考資料:
https://www.aozora.gr.jp/cards/000879/card16.html#download
↑
全文検索システム「ひまわり」
†
↑
全文検索システム「ひまわり」について
†
全文検索システム「ひまわり」
ただのテキストファイル(プレーンテキスト)ではなく、XML形式にして、インデックスを付けた専用のデータを利用
ひまわり のダウンロードページ
プログラム本体
↑
「青空文庫パッケージ」のインストール
†
青空文庫パッケージのダウンロード
ひまわり用「青空文庫」パッケージのダウンロードページ
から「青空文庫パッケージ」をUSBメモリに直接ダウンロードして保存(サイズが大きいのでPCにダウンロードできない)
USBメモリにコピーしたフォルダ内のhimawari.exeを起動
Himawari画面上にダウンロードしたzipファイルをドラッグ&ドロップ
*1
しばらく待つと完了(数分から10分程度はかかる)
要らなくなったUSBメモリ上の青空文庫パッケージzipファイルは不要なので削除する
↑
2019/10/26(土)の金曜日不足分授業日は休講
†
↑
2019/10/25 正規表現
†
今日の練習用テキストデータ
soseki2.zip
(前回と同じもの)
↑
テキストエディタ・正規表現(文字クラス)の復習
†
文字クラス
例:読[まみむめもん]
↑
正規表現のいろいろ
†
授業資料/正規表現
文字クラス [ ]
文字クラスの否定(補集合)[^ ]
繰り返し ? + *
グループ化 ()
or(論理和) |
文頭 ^、文末 $
↑
正規表現の応用
†
カタカナ語
カタカナ(外来語)の形容動詞語幹
送りがなの揺れ(行う/行なう)
会話文中("「"で始まる文中)の用例を検索する
同一文中での共起
全然~ない。
もし~なら(ば)
↑
タグ付き正規表現
†
走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
次のように置換するととんでもないことに…
検索文字列:走[らりるれろっ]
置換文字列:★走[らりるれろっ]
タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)を使う
授業資料/タグつき正規表現
↑
検索文字列の中での後方参照
†
検索語の中で\1を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
(..)\1\1
(...)\1
↑
最長一致の原則(greedy matching)
†
正規表現は、パターンが一致する最も長い範囲にマッチする
例:
あ+
→
【\1】
ああああああああ → 【ああああああああ】 そのせいで…
例:
「(.+)」
→
【\1】
「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
括弧の組ごとに置換するためには
「([^」]+)」
→
【\1】
のように書かなければならない
「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
よりかんたんに指定するには(最短一致,ものぐさ指定)
「(.+?)」「(.*?)」
のように、繰り返し指定の+*の後に「?」をつける
↑
正規表現に関する参考資料
†
サクラエディタの正規表現:
http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
正規表現に関する本
amazonで検索
#amazon(4873114500) #amazon(4873113598)
↑
2019/10/18 (四大戦で休み)
†
↑
2019/10/11 テキストエディタの利用
†
今回からUSBメモリを利用します。
テキストデータ(青空文庫)の配布
soseki2.zip
(今日の授業で使います)
aozoradoc2.zip
(青空文庫全テキスト・参考)
ダウンロードしてUSBメモリに展開(解凍)してください
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
サブフォルダのgrep
↑
ショートカットキー
†
授業資料/覚えておきたいショートカットキー
↑
grepと置換でKWIC(CSVファイル)を作る(簡易版)
†
CSVファイルとは:テキストファイルで表を表現する
用語:CSVファイル
KWIC:KeyWord In Context
↑
正規表現を使ってみる
†
文字クラス
例:読[まみむめもん]
半角ブラケットの中に文字を並べる→並べた文字いずれか1文字
↑
正規表現とは
†
正規表現
>用語
文字を表すための特殊な文字(メタ文字)を使って文字列のパターンを表現する
エディタでは置換・検索・grepで利用できる (エディタ以外にもさまざまなアプリケ-ションやコンピュータ言語で利用されている)
特殊な文字(メタ文字)はすべて半角
授業資料/正規表現
文字クラス [ ]
文字クラスの補集合(それ以外の文字)[^ ]
↑
2019/10/04 テキストデータとテキストエディタ
†
USBメモリの準備
次回の授業からUSBメモリを使います。2GB(なるべく4GB)以上の空きのあるUSBメモリを用意してください。
↑
テキストデータ
†
すべての基本、文字が並ぶだけのデータ
授業資料/テキストデータとは
バイナリファイルとテキストファイル
TXT,CSV,HTM・・・
ファイルの種類と拡張子 参考:
拡張子辞典
拡張子(wikipedia)
授業で使うテキストデータ
授業資料/テキストデータ紹介
↑
テキストエディタ
†
テキストエディタとはどんなものか
授業資料/テキストエディタ
サクラエディタのダウンロードとインストール
★
サクラエディタのダウンロード:sakura2.zip
(参考) サクラエディタホームページ:
http://sourceforge.net/projects/sakura-editor/
zipファイルの展開(解凍)
解凍しないままでも開けるが必ず解凍すること
テキストエディタの設定
行の折り返し
行番号表示
スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号)
練習用サンプルデータ(漱石+芥川)
sample.zip
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
サブフォルダのgrep
↑
2019/09/27
†
↑
イントロダクション
†
自己紹介
大学共同利用機関法人人間文化研究機構 国立国語研究所
http://www.ninjal.ac.jp/
コーパス開発センター
デモ
テキストエディタとgrep
全文検索システム
ひまわり
Excel(ピボットテーブル)
形態素解析:
Web茶まめ
シラバス確認
シラバス
(PDF)
この授業の目的
授業の進め方
評価方法
↑
授業で利用する主なソフトウェア
†
ソフトウェアの種類・名前
利用目的
テキストエディタ
サクラエディタ
正規表現を使ったテキストの検索・整形
全文検索ソフト
ひまわり
データの検索
表計算ソフト
Excel
ピボットテーブルによる分析・グラフ作成
ワープロ
Word
「スタイル」を利用したレポート作成
アンケート
↑
2019/09/20
†
初回ですが,海外出張のため休講です。
*1
または、メニューのファイル>インストールをえらび、青空文庫パッケージのzipファイルを指定