阪大2013/12月17日
をテンプレートにして作成
開始行:
[[阪大2013]]
*12月17日
#contents
*はじめに
-[[自己紹介]]
--ogiso.net
--大学共同利用機関法人人間文化研究機構 国立国語研究所 htt...
---[[コーパス開発センター>http://www.ninjal.ac.jp/corpus_...
***授業でどんなことをやるか（デモ）
--テキストエディタとgrep★
---各種テキストデータ
--全文検索システム「ひまわり★
---太陽コーパス★
---近代女性雑誌コーパス★
---国会会議録
--Excelでの集計（ピボットテーブル）★
--少納言
---「現代日本語書き言葉均衡コーパス」BCCWJ
--形態素解析／MeCab+UniDic（茶まめ）★
---「明六雑誌コーパス」★
--中納言
---「日本語歴史コーパス」CHJ★
---「現代日本語書き言葉均衡コーパス」BCCWJ
--茶器★
-シラバス確認
--[[阪大2013]]
***''今日''の授業で利用する主なソフトウェア [#i06478d2]
|ソフトウェアの種類・名前|利用目的|h
|[[テキストエディタ ''サクラエディタ'' sakura2>http://sou...
// |[[全文検索ソフト''ひまわり''>http://www2.ninjal.ac.jp...
// |表計算ソフト''Excel''|ピボットテーブルによる分析・グ...
***「コーパス」について [#k44345b6]
:狭義のコーパス|言語研究を目的として収集され、言語研究の...
--BCCWJ / 太陽コーパス / 明六雑誌コーパス / 日本語歴史コ...
:広義のコーパス|コンピュータ上で利用可能な大規模な言語デ...
--さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫...
--Web上のデータ
---検索サイトの利用
---WAC（Web as Corpus）
*総索引から電子化テキストへ（国語史資料の電子化の歴史）
-戦後、総索引が整備されはじめる
--1929～31『万葉集総索引』
--1952『源氏物語用語索引』
--1955『徒然草総索引』
-1980年代から徐々に日本語史資料へのコンピュータ応用が始まる
--金水（1984）,豊島（1983,1987），西端（1983,1989），岡島...
--総索引作成のための電子化テキスト利用など
-1990年代、電子化テキストの利用が広がる
--『源氏物語』テキストデータベース（長瀬1990）
--国語学会（現日本語学会）1992年度春季大会テーマ「国語研...
---日本文学等テキストファイル（岡島）http://www.let.osaka...
---J-TEXT日本文学電子図書館（菊池・深沢）http://www.j-tex...
--青空文庫 1997～ http://www.aozora.gr.jp/
--この頃、CD-ROM索引も『新大系 八代集』『新編国歌大観』『...
-2000年代（タグ付きテキスト「コーパス」へ）
--狭義の「コーパス」登場
---『太陽コーパス』2005
*テキストデータと文字コード
***文字コード
-文字集合と文字符号化方式の組み合わせ
***日本で広く使われてきた文字コード
（伝統的な文字コード。かつて多くのパソコンで使われてきた...
-文字集合 JIS X0208：1997（なんども改定があった）
--Shift_JIS（符号化方式）
--EUC-JP（符号化方式）
--JIS 2022（符号化方式）
***ユニコード
（新しい国際的な文字集合。各国のコード表を含み込んでいる...
-文字集合 Unicode （最新バージョンは 6.3）
--UTF-8（符号化方式）
--UTF-16（符号化方式）LE/BE（[[エンディアン>http://ja.wik...
---単にUnicodeといった場合、たいていUTF-16LEを指す（LE＝...
---UTF-16では、通常ファイルの先頭にBOMといわれる特殊記号...
***BCCWJ・CHJの文字コード
-文字集合 JIS X0213 （X0208に漢字・非漢字を追加）
--UTF-16LE（符号化方式）
（X0213の符号化方式はShift_JISほか様々な規定があるが、今...
-UniDicではUTF-8が基本（MeCab/ChaSenでUnicodeが扱える文字...
***文字コードを巡る様々な問題
-ここでは取り上げませんが、日本語学を学ぶ人にはなるべく知...
--[[授業資料/文字コード関連リンク]]（←古い）
--文字化け
---参考:[[文字化けはなぜ起きるか>http://pc.nikkeibp.co.jp...
--「文字が足りない？」
--「どこまでが同じ文字か」包摂基準
--「他の文字表との整合性」
---常用漢字表と文字コード
***（参考）今昔文字鏡
-「太陽コーパス」（文字集合はX0208。ただし包摂基準を一部...
--基本的に文字の見た目を扱うもので、包摂基準などがない
--大漢和番号（諸橋）を含み込む
-著作権の問題、PDFへの埋め込み制限など。
**テキストファイル
-テキストデータとはどんなものか
--[[授業資料/テキストデータとは]]
--[[授業資料/テキストデータ紹介]]（広義のコーパス）
--サンプルデータ：&ref{kokoro.zip};
--練習用データ：&ref{soseki.zip};
--【参考】：[[青空文庫のデータ>https://dl.dropboxusercont...
***テキストファイルと拡張子 [#c15ea011]
-[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%...
--拡張子辞典：http://jisyo.com/viewer/list/list.html
--TXT,CSV,HTM・・・
-プレーンテキストと構造化テキスト
*テキストエディタ
-テキストエディタとはどんなものか
--[[授業資料/テキストエディタ]]
**テキストエディタを使う
-サクラエディタのダウンロード
--[[サクラエディタのダウンロード:sakura.zip（授業用に用意...
---（参考）サクラエディタホームページ：http://sourceforge...
-資料：[[サクラエディタの使い方>https://dl.dropboxusercon...
-スタイル行番号（ワープロ的行番号）と論理行番号（エディタ...
--cf. 見た目 と 構造
-検索と置換
--検索で初出行を調べる
--置換で用例数を数える
-grepとタグジャンプ
--grep
--タグジャンプ
--grep結果の保存
-[[授業資料/grepと置換でKWICを作る]]
***ショートカットキー [#f0022be4]
-[[授業資料/覚えておきたいショートカットキー]]☆
***（補足）おすすめテキストエディタ [#oa8d82a7]
-フリーウェア
--サクラエディタ http://sakura-editor.sourceforge.net/ 【...
--K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
-シェアウェア
--EmEditor http://jp.emeditor.com/ 4,200円
--秀丸エディタ http://hide.maruo.co.jp/software/hidemaru....
*正規表現
-''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE...
--文字を表すための特殊な文字（メタ文字）
--置換・検索・grepで利用できる
--記号はすべて半角
--特殊文字そのものを表す場合には\でエスケープする（特殊な...
***正規表現のいろいろ [#q514651f]
-[[授業資料/正規表現]]☆
--文字クラス [ ]
--文字クラスの否定（補集合）[^ ]
--繰り返し ? + *
--グループ化 ()
--or（論理和） |
--文頭 ^、文末 $
***正規表現の応用 [#c7a3ea2d]
--カタカナ語
--送りがなの揺れ（行う／行なう）
--''全然～ない。''
--会話文中（''「''で始まる）
***タグ付き正規表現 [#f4ef75c5]
-走[らりるれろ] でGrepした結果を置換するにはどうしたらい...
--次のように置換するととんでもないことに…
---検索文字列：走[らりるれろ]
---置換文字列：★走[らりるれろ]
-タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）...
-[[授業資料/タグつき正規表現]]☆
-（参考）タグ付き正規表現の応用：[[grepと置換でKWICを作る...
***検索語の中での後方参照 [#j9966c0d]
-検索語の中で\1を使う
--(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
***最長一致の原則（greedy matching） [#y047e9bd]
-正規表現は、パターンが一致する最も長い範囲にマッチする
--例：''「(.+)」'' → ''【\1】''
---「こんにちは」「さようなら」 → 【こんにちは」「さよう...
--''「([^」]+)」'' → ''【\1】'' のように書けばよい
---「こんにちは」「さようなら」 → 【こんにちは】【さよう...
-最短一致を指定するには（ものぐさ指定）
--''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」...
***正規表現に関する本 [#a3414e4f]
-[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__...
-正規表現にはアプリケーションソフトやプログラミング言語ご...
#amazon(4873111706)
#amazon(4873113598)
#clear
終了行:
[[阪大2013]]
*12月17日
#contents
*はじめに
-[[自己紹介]]
--ogiso.net
--大学共同利用機関法人人間文化研究機構 国立国語研究所 htt...
---[[コーパス開発センター>http://www.ninjal.ac.jp/corpus_...
***授業でどんなことをやるか（デモ）
--テキストエディタとgrep★
---各種テキストデータ
--全文検索システム「ひまわり★
---太陽コーパス★
---近代女性雑誌コーパス★
---国会会議録
--Excelでの集計（ピボットテーブル）★
--少納言
---「現代日本語書き言葉均衡コーパス」BCCWJ
--形態素解析／MeCab+UniDic（茶まめ）★
---「明六雑誌コーパス」★
--中納言
---「日本語歴史コーパス」CHJ★
---「現代日本語書き言葉均衡コーパス」BCCWJ
--茶器★
-シラバス確認
--[[阪大2013]]
***''今日''の授業で利用する主なソフトウェア [#i06478d2]
|ソフトウェアの種類・名前|利用目的|h
|[[テキストエディタ ''サクラエディタ'' sakura2>http://sou...
// |[[全文検索ソフト''ひまわり''>http://www2.ninjal.ac.jp...
// |表計算ソフト''Excel''|ピボットテーブルによる分析・グ...
***「コーパス」について [#k44345b6]
:狭義のコーパス|言語研究を目的として収集され、言語研究の...
--BCCWJ / 太陽コーパス / 明六雑誌コーパス / 日本語歴史コ...
:広義のコーパス|コンピュータ上で利用可能な大規模な言語デ...
--さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫...
--Web上のデータ
---検索サイトの利用
---WAC（Web as Corpus）
*総索引から電子化テキストへ（国語史資料の電子化の歴史）
-戦後、総索引が整備されはじめる
--1929～31『万葉集総索引』
--1952『源氏物語用語索引』
--1955『徒然草総索引』
-1980年代から徐々に日本語史資料へのコンピュータ応用が始まる
--金水（1984）,豊島（1983,1987），西端（1983,1989），岡島...
--総索引作成のための電子化テキスト利用など
-1990年代、電子化テキストの利用が広がる
--『源氏物語』テキストデータベース（長瀬1990）
--国語学会（現日本語学会）1992年度春季大会テーマ「国語研...
---日本文学等テキストファイル（岡島）http://www.let.osaka...
---J-TEXT日本文学電子図書館（菊池・深沢）http://www.j-tex...
--青空文庫 1997～ http://www.aozora.gr.jp/
--この頃、CD-ROM索引も『新大系 八代集』『新編国歌大観』『...
-2000年代（タグ付きテキスト「コーパス」へ）
--狭義の「コーパス」登場
---『太陽コーパス』2005
*テキストデータと文字コード
***文字コード
-文字集合と文字符号化方式の組み合わせ
***日本で広く使われてきた文字コード
（伝統的な文字コード。かつて多くのパソコンで使われてきた...
-文字集合 JIS X0208：1997（なんども改定があった）
--Shift_JIS（符号化方式）
--EUC-JP（符号化方式）
--JIS 2022（符号化方式）
***ユニコード
（新しい国際的な文字集合。各国のコード表を含み込んでいる...
-文字集合 Unicode （最新バージョンは 6.3）
--UTF-8（符号化方式）
--UTF-16（符号化方式）LE/BE（[[エンディアン>http://ja.wik...
---単にUnicodeといった場合、たいていUTF-16LEを指す（LE＝...
---UTF-16では、通常ファイルの先頭にBOMといわれる特殊記号...
***BCCWJ・CHJの文字コード
-文字集合 JIS X0213 （X0208に漢字・非漢字を追加）
--UTF-16LE（符号化方式）
（X0213の符号化方式はShift_JISほか様々な規定があるが、今...
-UniDicではUTF-8が基本（MeCab/ChaSenでUnicodeが扱える文字...
***文字コードを巡る様々な問題
-ここでは取り上げませんが、日本語学を学ぶ人にはなるべく知...
--[[授業資料/文字コード関連リンク]]（←古い）
--文字化け
---参考:[[文字化けはなぜ起きるか>http://pc.nikkeibp.co.jp...
--「文字が足りない？」
--「どこまでが同じ文字か」包摂基準
--「他の文字表との整合性」
---常用漢字表と文字コード
***（参考）今昔文字鏡
-「太陽コーパス」（文字集合はX0208。ただし包摂基準を一部...
--基本的に文字の見た目を扱うもので、包摂基準などがない
--大漢和番号（諸橋）を含み込む
-著作権の問題、PDFへの埋め込み制限など。
**テキストファイル
-テキストデータとはどんなものか
--[[授業資料/テキストデータとは]]
--[[授業資料/テキストデータ紹介]]（広義のコーパス）
--サンプルデータ：&ref{kokoro.zip};
--練習用データ：&ref{soseki.zip};
--【参考】：[[青空文庫のデータ>https://dl.dropboxusercont...
***テキストファイルと拡張子 [#c15ea011]
-[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%...
--拡張子辞典：http://jisyo.com/viewer/list/list.html
--TXT,CSV,HTM・・・
-プレーンテキストと構造化テキスト
*テキストエディタ
-テキストエディタとはどんなものか
--[[授業資料/テキストエディタ]]
**テキストエディタを使う
-サクラエディタのダウンロード
--[[サクラエディタのダウンロード:sakura.zip（授業用に用意...
---（参考）サクラエディタホームページ：http://sourceforge...
-資料：[[サクラエディタの使い方>https://dl.dropboxusercon...
-スタイル行番号（ワープロ的行番号）と論理行番号（エディタ...
--cf. 見た目 と 構造
-検索と置換
--検索で初出行を調べる
--置換で用例数を数える
-grepとタグジャンプ
--grep
--タグジャンプ
--grep結果の保存
-[[授業資料/grepと置換でKWICを作る]]
***ショートカットキー [#f0022be4]
-[[授業資料/覚えておきたいショートカットキー]]☆
***（補足）おすすめテキストエディタ [#oa8d82a7]
-フリーウェア
--サクラエディタ http://sakura-editor.sourceforge.net/ 【...
--K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
-シェアウェア
--EmEditor http://jp.emeditor.com/ 4,200円
--秀丸エディタ http://hide.maruo.co.jp/software/hidemaru....
*正規表現
-''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE...
--文字を表すための特殊な文字（メタ文字）
--置換・検索・grepで利用できる
--記号はすべて半角
--特殊文字そのものを表す場合には\でエスケープする（特殊な...
***正規表現のいろいろ [#q514651f]
-[[授業資料/正規表現]]☆
--文字クラス [ ]
--文字クラスの否定（補集合）[^ ]
--繰り返し ? + *
--グループ化 ()
--or（論理和） |
--文頭 ^、文末 $
***正規表現の応用 [#c7a3ea2d]
--カタカナ語
--送りがなの揺れ（行う／行なう）
--''全然～ない。''
--会話文中（''「''で始まる）
***タグ付き正規表現 [#f4ef75c5]
-走[らりるれろ] でGrepした結果を置換するにはどうしたらい...
--次のように置換するととんでもないことに…
---検索文字列：走[らりるれろ]
---置換文字列：★走[らりるれろ]
-タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）...
-[[授業資料/タグつき正規表現]]☆
-（参考）タグ付き正規表現の応用：[[grepと置換でKWICを作る...
***検索語の中での後方参照 [#j9966c0d]
-検索語の中で\1を使う
--(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
***最長一致の原則（greedy matching） [#y047e9bd]
-正規表現は、パターンが一致する最も長い範囲にマッチする
--例：''「(.+)」'' → ''【\1】''
---「こんにちは」「さようなら」 → 【こんにちは」「さよう...
--''「([^」]+)」'' → ''【\1】'' のように書けばよい
---「こんにちは」「さようなら」 → 【こんにちは】【さよう...
-最短一致を指定するには（ものぐさ指定）
--''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」...
***正規表現に関する本 [#a3414e4f]
-[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__...
-正規表現にはアプリケーションソフトやプログラミング言語ご...
#amazon(4873111706)
#amazon(4873113598)
#clear
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
