一橋2011
をテンプレートにして作成
開始行:
*日本語学講義(I) 日本語コーパス研究入門 [#nfef3a22]
-授業に関するメールはこちらへ。&br;小木曽 智信: ogiso@o...
-[[授業資料/用語集リンク]] (わからないコンピュータ用語を...
-授業フォルダ \\Linkstation\share\日本語コーパス
//--[[シラバス>https://syllabus.hit-u.ac.jp/WebSyllabus/S...
//
//***BCCWJ中納言の申し込み
//-https://chunagon.ninjal.ac.jp/
//--申し込んでから使えるようになるまでに時間がかかるので...
//***休講のお知らせ
//-11月11日は海外出張のため休講とします。
//-一橋祭が行われる''11月4日は開講''しますが、質問対応の...
***レポート提出について
-形式:Wordファイル(少なくともA4で3枚以上)
-締切:2月13日(月)
-提出先:ogiso@ogiso.net ←@を半角に置き換えてください
(メールに添付)
**発展
-[[授業資料/コンピュータ言語]]
**2012/01/27 (最終回)レポートを書く
***Wordでレポートや論文を書く
-''スタイルと見出し*''
--ナビゲーションウィンドウ(見出しマップ)
-''図表と図表番号*''
-相互参照
-目次
--図表目次
-リスト
--例文番号
-''少なくとも*印の機能はこの授業のレポートで実際に利用す...
サンプルファイル:[[中納言概説>http://home.ogiso.net/wiki...
***レポートテーマについて
-レポートで取り上げるテーマを聞きます
**2012/01/20 ミニコーパスを作る
***「ひまわり」で検索できるミニコーパスを作る
-自分でミニコーパスを作るには
-マークアップ言語
--[[HTML>http://ja.wikipedia.org/wiki/HyperText_Markup_La...
---ごく簡単なHTMLの説明:http://www.kanzaki.com/docs/htmi...
--[[XML>http://ja.wikipedia.org/wiki/Extensible_Markup_La...
---たのしいXML:http://www6.airnet.ne.jp/manyo/xml/
***「ひまわり」用のデータを作るには [#l26f68db]
-[[ひまわり用のデータの作り方>http://www2.ninjal.ac.jp/lr...
--◎自由に情報がつけられる / △やや難
-[[ひまわり用データ作成ツール「えだまめ」>http://www2.nin...
--[[「えだまめ」の使い方>http://www2.ninjal.ac.jp/lrc/ind...
--△自分で付けられる情報は「パス」のみ / ◎簡単
---(自動でできたXMLファイルと設定ファイルを編集して、必...
***既存のデータを「ひまわり」用に変換する [#tfcee628]
-[[ソフトウェア/しおまめ]](新潮文庫の100冊シリーズ変換)
-[[青空文庫のDVD-ROMを変換>http://www2.ninjal.ac.jp/lrc/i...
#amazon(4899840721)
#clear
**2012/01/06 BCCWJの設計と書誌情報
(スライド参照)
-均衡コーパス(balanced corpus)とは
--サブコーパスと母集団
--可変長と固定長
***レポートテーマ
-現時点で考えているレポートテーマについて
**2011/12/16 BCCWJの形態論情報とUniDicによる形態素解析
----
#include(授業資料/形態素解析,notitle)
----
--MeCab(Windows用)最新版 [[Download>http://sourceforge...
***茶まめで形態素解析・Excelで集計
+茶まめで解析してみる(解析器はMeCab+解析辞書はUniDic)
+Excelに出力する
+ピボットテーブルで集計する
-応用:テキストのジャンルと語種,品詞の割合をグラフ化して...
---ブログのテキストと新聞記事のテキストの解析結果を比較
**2011/12/09 Excelによるデータの処理
***復習
-ひまわりとExcelピボットテーブルの組み合わせ
-例:「それぎり」と「それきり」
***応用・意味に関わる分析
-分類用のフィールドを作って自分で分類後、集計する
--例:「新聞紙」の意味・用法の変化
---ランダム→先頭100
***相対頻度の計算
--''Himawari版青空文庫・文字数データ''&br;[[Aozora2009GWc...
***中納言の検索結果をピボットテーブルで集計する
**2011/12/02 中納言
***BCCWJ中納言の使い方
--中納言負荷テスト
**2011/11/25 「ひまわり」とExcelの利用(2)
|前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原...
***表計算ソフト Excel入門 [#k88c28d1]
-ピボットテーブル(復習)
---例:大[事切]
-並べ替え
-オートフィルタ
--オートフィルタの「オプション」
---例:前文脈に「一番」または「いちばん」を含む
***Excelを使った集計 [#l7da4009]
-ピボットテーブル・ピボットグラフを使う
--参考:http://office.microsoft.com/ja-jp/excel/CH0625280...
-グラフの種類について
--扱う対象・方法に適したグラフを選択する
--参考:http://office.microsoft.com/ja-jp/help/HA01233737...
-文字列処理関数を使って集計用の列を作る
---例(生年代):=left(生没年,3)*10
***テキストエディタと組み合わせて使う [#uc1f5bff]
-エディタと組み合わせて使う
--特定の列をエディタにコピーして正規表現を使った置換を行う
--例:検索語がヒットした文の前後の文(の断片)を除去する
---前文脈で:.+。 →
---後文脈で:。.+ → 。
**2011/11/18 「ひまわり」とExcelの利用(1) [#xc608471]
***全文検索ソフト「ひまわり」 [#ubf60277]
-「ひまわり」 [[国立国語研究所/言語データベースとソフト...
-「ひまわり」を授業フォルダに入れ、青空文庫などを検索でき...
-エディタでのGrepとひまわりの違い
--対象となるデータ
---エディタ:テキストデータなら何でも
---ひまわり:専用のXML形式(テキストデータを元に変換して...
--検索結果
---エディタ:マッチした行を一覧表示
---ひまわり:マッチした文字列をKWIC形式で表示。出典情報な...
--検索結果
---エディタ:1行ずつチェックするのでデータが多くなると時...
---ひまわり:インデックスを利用するので高速
--検索条件
---エディタ:自由な正規表現
---ひまわり:正規表現の利用にやや制限あり
***「ひまわり」で使用できる正規表現 [#t52b1fee]
-[[授業資料/Himawariの正規表現]]
-検索語/キー:普通の文字と、列挙型の文字クラス([あいう]の...
-前文脈/後文脈:ほぼ全ての正規表現
--例:[寂淋]し
|前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原...
-ピボットテーブル・ピボットグラフを使う
--参考:http://office.microsoft.com/ja-jp/excel/CH0625280...
--例:[寂淋]し
---著者別に集計
---作品別に集計
**2011/11/4([[一橋祭>http://jfn.josuikai.net/student/ikk...
-これまでの授業内容に関する質問
-自分の研究での利用に関する質問
-などなど
-参考資料・[[秀丸エディタの使い方(PDF)>http://home.ogiso....
**2011/10/28 タグ付き正規表現
***タグ付き正規表現 [#qc4ff17d]
-走[らりるれろ] でGrepした結果を置換するにはどうしたらい...
--次のように置換するととんでもないことに…
---検索文字列:走[らりるれろ]
---置換文字列:★走[らりるれろ]
-タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)...
-[[授業資料/タグつき正規表現]]
-(参考)タグ付き正規表現の応用:[[grepと置換でKWICを作る...
***検索語の中での後方参照 [#j9966c0d]
-検索語の中で\1を使う
--(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
***最長一致の原則(greedy matching) [#y047e9bd]
-正規表現は、パターンが一致する最も長い範囲にマッチする
--例:''「(.+)」'' → ''【\1】''
---「こんにちは」「さようなら」 → 【こんにちは」「さよう...
--''「([^」]+)」'' → ''【\1】'' のように書けばよい
---「こんにちは」「さようなら」 → 【こんにちは】【さよう...
-最短一致を指定するには(ものぐさ指定)
--''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」...
***正規表現に関する本 [#a3414e4f]
-[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__...
-正規表現にはアプリケーションソフトやプログラミング言語ご...
#amazon(4873111706)
#amazon(4873113598)
#clear
**2011/10/21 正規表現
***正規表現のいろいろ [#q514651f]
-[[授業資料/正規表現]]
--文字クラス [ ]
--文字クラスの否定(補集合)[^ ]
--繰り返し ? + *
--グループ化 ()
--or(論理和) |
--文頭 ^、文末 $
***正規表現の応用 [#c7a3ea2d]
--カタカナ語
--送りがなの揺れ(行う/行なう)
--''全然~ない。''
--会話文中(''「''で始まる)
***タグ付き正規表現 [#qc4ff17d]
-走[らりるれろ] でGrepした結果を置換するにはどうしたらい...
--次のように置換するととんでもないことに…
---検索文字列:走[らりるれろ]
---置換文字列:★走[らりるれろ]
-タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)...
-[[授業資料/タグつき正規表現]]
-(参考)タグ付き正規表現の応用:[[grepと置換でKWICを作る...
***検索語の中での後方参照 [#j9966c0d]
-検索語の中で\1を使う
--(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
***最長一致の原則(greedy matching) [#y047e9bd]
-正規表現は、パターンが一致する最も長い範囲にマッチする
--例:''「(.+)」'' → ''【\1】''
---「こんにちは」「さようなら」 → 【こんにちは」「さよう...
--''「([^」]+)」'' → ''【\1】'' のように書けばよい
---「こんにちは」「さようなら」 → 【こんにちは】【さよう...
-最短一致を指定するには(ものぐさ指定)
--''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」...
**2011/10/14 テキストエディタの利用 [#h5039c4a]
***復習
-検索で初出行を調べる
-置換で用例数を数える
-grepとタグジャンプ
***ショートカットキー [#f0022be4]
-[[授業資料/覚えておきたいショートカットキー]]
***grepと置換でKWIC(CSVファイル)を作る [#u3ab2d6f]
-grep結果の保存
-grep結果の置換による整形
-CSVファイルとは:テキストファイルで表を表現する
[[用語:CSVファイル>http://e-words.jp/w/CSV.html]]
-KWICとは:KeyWord In Context
***おすすめテキストエディタ [#oa8d82a7]
-フリーウェア
--サクラエディタ(2.x) http://sourceforge.net/projects/sak...
--K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
--Apsalyテキストエディタ http://www.vector.co.jp/soft/win...
-シェアウェア
--EmEditor http://jp.emeditor.com/ 4,200円
--秀丸エディタ http://hide.maruo.co.jp/software/hidemaru....
***正規表現とは [#d216d4e0]
-''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE...
--文字を表すための特殊な文字(メタ文字)
--置換・検索・grepで利用できる
--記号はすべて半角
--特殊文字そのものを表す場合には\でエスケープする(特殊な...
-文字クラス [ ]
--文字クラスの補集合(それ以外の文字)[^ ]
(つづく)
-[[授業資料/正規表現]]
**2011/10/07 テキストデータとテキストエディタ
まずは、テキストエディタを使ってテキストデータを扱うこと...
-共有フォルダの確認
--マイネットワーク>share>日本語コーパス
***(補足)「コーパス」について [#k44345b6]
この授業ではBCCWJのほかに、青空文庫・国会会議録などの広義...
-狭義のコーパス 言語研究を目的として収集され、言語研究の...
--Kotonoha (BCCWJ / CSJ / 太陽コーパス)
-広義のコーパス コンピュータ上で利用可能な大規模な言語デ...
--さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫...
--Webデータ
---検索サイトの利用
---WAC(Web as Corpus)
***テキストデータ [#wee47413]
全ての基本。テキストデータ≒テキストファイル≒電子化テキスト
-テキストデータとはどんなものか
--[[授業資料/テキストデータとは]]
--[[授業資料/文字コード関連リンク]]
--[[授業資料/テキストデータ紹介]](広義のコーパス)
---参考 [[『国会会議録を使った日本語研究』>http://www.hit...
#amazon(4894762994)
***テキストファイルと拡張子 [#c15ea011]
-[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%...
-拡張子辞典:http://jisyo.com/viewer/list/list.html
-TXT,CSV,HTM・・・
***テキストエディタ [#q7ae852c]
-テキストエディタとはどんなものか
--[[授業資料/テキストエディタ]]
***テキストエディタの基礎 [#l73e457c]
-スタイル行番号(ワープロ的行番号)と論理行番号(エディタ...
--cf. 見た目 と 構造
-検索と置換、grep
**2011/09/30 イントロダクション [#p494942d]
-[[自己紹介]]
-[[国立国語研究所(NINJAL)>http://www.ninjal.ac.jp/]]
-国語研コーパス([[KOTONOHA>http://www.ninjal.ac.jp/koton...
--現代日本語書き言葉均衡コーパス(BCCWJ)
---[[特定領域 日本語コーパス>http://www.tokuteicorpus.jp/]]
---[[検索デモサイト>http://shonagon.ninjal.ac.jp]]
--日本語話し言葉コーパス(CSJ)
--太陽コーパス(明治・大正期の総合雑誌)
--通時コーパス(設計中)
-授業の進め方について
--受講者のレベルにあわせて基礎的なことから始め、自分の研...
--シラバス確認 https://mercas.hit-u.ac.jp/
-受講者アンケート
--専門・関心領域
--PCスキル
-デモンストレーション
--茶まめ(形態素解析)+Excel
***授業で利用する主なソフトウェア [#i06478d2]
|名前|種類|利用目的|h
|''[[秀丸エディタ>http://hide.maruo.co.jp/software/hidema...
|''[[Excel>http://office.microsoft.com/ja-jp/excel/defaul...
|''[[Access>http://office.microsoft.com/ja-jp/access/defa...
|''[[Word>http://office.microsoft.com/ja-jp/word/default....
|''[[ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%...
|''[[MeCab>http://mecab.sourceforge.net/]]''|形態素解析器...
|''[[UniDic>http://download.unidic.org]]''|形態素解析辞書...
|''[[BCCWJ:小納言>http://shonagon.ninjal.ac.jp]]''|Webサ...
|''[[BCCWJ:前中納言>http://morph.kotonoha.gr.jp/login.as...
|''[[BCCWJ:中納言>http://chunagon.ninjal.ac.jp]]''|Webサ...
終了行:
*日本語学講義(I) 日本語コーパス研究入門 [#nfef3a22]
-授業に関するメールはこちらへ。&br;小木曽 智信: ogiso@o...
-[[授業資料/用語集リンク]] (わからないコンピュータ用語を...
-授業フォルダ \\Linkstation\share\日本語コーパス
//--[[シラバス>https://syllabus.hit-u.ac.jp/WebSyllabus/S...
//
//***BCCWJ中納言の申し込み
//-https://chunagon.ninjal.ac.jp/
//--申し込んでから使えるようになるまでに時間がかかるので...
//***休講のお知らせ
//-11月11日は海外出張のため休講とします。
//-一橋祭が行われる''11月4日は開講''しますが、質問対応の...
***レポート提出について
-形式:Wordファイル(少なくともA4で3枚以上)
-締切:2月13日(月)
-提出先:ogiso@ogiso.net ←@を半角に置き換えてください
(メールに添付)
**発展
-[[授業資料/コンピュータ言語]]
**2012/01/27 (最終回)レポートを書く
***Wordでレポートや論文を書く
-''スタイルと見出し*''
--ナビゲーションウィンドウ(見出しマップ)
-''図表と図表番号*''
-相互参照
-目次
--図表目次
-リスト
--例文番号
-''少なくとも*印の機能はこの授業のレポートで実際に利用す...
サンプルファイル:[[中納言概説>http://home.ogiso.net/wiki...
***レポートテーマについて
-レポートで取り上げるテーマを聞きます
**2012/01/20 ミニコーパスを作る
***「ひまわり」で検索できるミニコーパスを作る
-自分でミニコーパスを作るには
-マークアップ言語
--[[HTML>http://ja.wikipedia.org/wiki/HyperText_Markup_La...
---ごく簡単なHTMLの説明:http://www.kanzaki.com/docs/htmi...
--[[XML>http://ja.wikipedia.org/wiki/Extensible_Markup_La...
---たのしいXML:http://www6.airnet.ne.jp/manyo/xml/
***「ひまわり」用のデータを作るには [#l26f68db]
-[[ひまわり用のデータの作り方>http://www2.ninjal.ac.jp/lr...
--◎自由に情報がつけられる / △やや難
-[[ひまわり用データ作成ツール「えだまめ」>http://www2.nin...
--[[「えだまめ」の使い方>http://www2.ninjal.ac.jp/lrc/ind...
--△自分で付けられる情報は「パス」のみ / ◎簡単
---(自動でできたXMLファイルと設定ファイルを編集して、必...
***既存のデータを「ひまわり」用に変換する [#tfcee628]
-[[ソフトウェア/しおまめ]](新潮文庫の100冊シリーズ変換)
-[[青空文庫のDVD-ROMを変換>http://www2.ninjal.ac.jp/lrc/i...
#amazon(4899840721)
#clear
**2012/01/06 BCCWJの設計と書誌情報
(スライド参照)
-均衡コーパス(balanced corpus)とは
--サブコーパスと母集団
--可変長と固定長
***レポートテーマ
-現時点で考えているレポートテーマについて
**2011/12/16 BCCWJの形態論情報とUniDicによる形態素解析
----
#include(授業資料/形態素解析,notitle)
----
--MeCab(Windows用)最新版 [[Download>http://sourceforge...
***茶まめで形態素解析・Excelで集計
+茶まめで解析してみる(解析器はMeCab+解析辞書はUniDic)
+Excelに出力する
+ピボットテーブルで集計する
-応用:テキストのジャンルと語種,品詞の割合をグラフ化して...
---ブログのテキストと新聞記事のテキストの解析結果を比較
**2011/12/09 Excelによるデータの処理
***復習
-ひまわりとExcelピボットテーブルの組み合わせ
-例:「それぎり」と「それきり」
***応用・意味に関わる分析
-分類用のフィールドを作って自分で分類後、集計する
--例:「新聞紙」の意味・用法の変化
---ランダム→先頭100
***相対頻度の計算
--''Himawari版青空文庫・文字数データ''&br;[[Aozora2009GWc...
***中納言の検索結果をピボットテーブルで集計する
**2011/12/02 中納言
***BCCWJ中納言の使い方
--中納言負荷テスト
**2011/11/25 「ひまわり」とExcelの利用(2)
|前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原...
***表計算ソフト Excel入門 [#k88c28d1]
-ピボットテーブル(復習)
---例:大[事切]
-並べ替え
-オートフィルタ
--オートフィルタの「オプション」
---例:前文脈に「一番」または「いちばん」を含む
***Excelを使った集計 [#l7da4009]
-ピボットテーブル・ピボットグラフを使う
--参考:http://office.microsoft.com/ja-jp/excel/CH0625280...
-グラフの種類について
--扱う対象・方法に適したグラフを選択する
--参考:http://office.microsoft.com/ja-jp/help/HA01233737...
-文字列処理関数を使って集計用の列を作る
---例(生年代):=left(生没年,3)*10
***テキストエディタと組み合わせて使う [#uc1f5bff]
-エディタと組み合わせて使う
--特定の列をエディタにコピーして正規表現を使った置換を行う
--例:検索語がヒットした文の前後の文(の断片)を除去する
---前文脈で:.+。 →
---後文脈で:。.+ → 。
**2011/11/18 「ひまわり」とExcelの利用(1) [#xc608471]
***全文検索ソフト「ひまわり」 [#ubf60277]
-「ひまわり」 [[国立国語研究所/言語データベースとソフト...
-「ひまわり」を授業フォルダに入れ、青空文庫などを検索でき...
-エディタでのGrepとひまわりの違い
--対象となるデータ
---エディタ:テキストデータなら何でも
---ひまわり:専用のXML形式(テキストデータを元に変換して...
--検索結果
---エディタ:マッチした行を一覧表示
---ひまわり:マッチした文字列をKWIC形式で表示。出典情報な...
--検索結果
---エディタ:1行ずつチェックするのでデータが多くなると時...
---ひまわり:インデックスを利用するので高速
--検索条件
---エディタ:自由な正規表現
---ひまわり:正規表現の利用にやや制限あり
***「ひまわり」で使用できる正規表現 [#t52b1fee]
-[[授業資料/Himawariの正規表現]]
-検索語/キー:普通の文字と、列挙型の文字クラス([あいう]の...
-前文脈/後文脈:ほぼ全ての正規表現
--例:[寂淋]し
|前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原...
-ピボットテーブル・ピボットグラフを使う
--参考:http://office.microsoft.com/ja-jp/excel/CH0625280...
--例:[寂淋]し
---著者別に集計
---作品別に集計
**2011/11/4([[一橋祭>http://jfn.josuikai.net/student/ikk...
-これまでの授業内容に関する質問
-自分の研究での利用に関する質問
-などなど
-参考資料・[[秀丸エディタの使い方(PDF)>http://home.ogiso....
**2011/10/28 タグ付き正規表現
***タグ付き正規表現 [#qc4ff17d]
-走[らりるれろ] でGrepした結果を置換するにはどうしたらい...
--次のように置換するととんでもないことに…
---検索文字列:走[らりるれろ]
---置換文字列:★走[らりるれろ]
-タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)...
-[[授業資料/タグつき正規表現]]
-(参考)タグ付き正規表現の応用:[[grepと置換でKWICを作る...
***検索語の中での後方参照 [#j9966c0d]
-検索語の中で\1を使う
--(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
***最長一致の原則(greedy matching) [#y047e9bd]
-正規表現は、パターンが一致する最も長い範囲にマッチする
--例:''「(.+)」'' → ''【\1】''
---「こんにちは」「さようなら」 → 【こんにちは」「さよう...
--''「([^」]+)」'' → ''【\1】'' のように書けばよい
---「こんにちは」「さようなら」 → 【こんにちは】【さよう...
-最短一致を指定するには(ものぐさ指定)
--''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」...
***正規表現に関する本 [#a3414e4f]
-[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__...
-正規表現にはアプリケーションソフトやプログラミング言語ご...
#amazon(4873111706)
#amazon(4873113598)
#clear
**2011/10/21 正規表現
***正規表現のいろいろ [#q514651f]
-[[授業資料/正規表現]]
--文字クラス [ ]
--文字クラスの否定(補集合)[^ ]
--繰り返し ? + *
--グループ化 ()
--or(論理和) |
--文頭 ^、文末 $
***正規表現の応用 [#c7a3ea2d]
--カタカナ語
--送りがなの揺れ(行う/行なう)
--''全然~ない。''
--会話文中(''「''で始まる)
***タグ付き正規表現 [#qc4ff17d]
-走[らりるれろ] でGrepした結果を置換するにはどうしたらい...
--次のように置換するととんでもないことに…
---検索文字列:走[らりるれろ]
---置換文字列:★走[らりるれろ]
-タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)...
-[[授業資料/タグつき正規表現]]
-(参考)タグ付き正規表現の応用:[[grepと置換でKWICを作る...
***検索語の中での後方参照 [#j9966c0d]
-検索語の中で\1を使う
--(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
***最長一致の原則(greedy matching) [#y047e9bd]
-正規表現は、パターンが一致する最も長い範囲にマッチする
--例:''「(.+)」'' → ''【\1】''
---「こんにちは」「さようなら」 → 【こんにちは」「さよう...
--''「([^」]+)」'' → ''【\1】'' のように書けばよい
---「こんにちは」「さようなら」 → 【こんにちは】【さよう...
-最短一致を指定するには(ものぐさ指定)
--''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」...
**2011/10/14 テキストエディタの利用 [#h5039c4a]
***復習
-検索で初出行を調べる
-置換で用例数を数える
-grepとタグジャンプ
***ショートカットキー [#f0022be4]
-[[授業資料/覚えておきたいショートカットキー]]
***grepと置換でKWIC(CSVファイル)を作る [#u3ab2d6f]
-grep結果の保存
-grep結果の置換による整形
-CSVファイルとは:テキストファイルで表を表現する
[[用語:CSVファイル>http://e-words.jp/w/CSV.html]]
-KWICとは:KeyWord In Context
***おすすめテキストエディタ [#oa8d82a7]
-フリーウェア
--サクラエディタ(2.x) http://sourceforge.net/projects/sak...
--K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
--Apsalyテキストエディタ http://www.vector.co.jp/soft/win...
-シェアウェア
--EmEditor http://jp.emeditor.com/ 4,200円
--秀丸エディタ http://hide.maruo.co.jp/software/hidemaru....
***正規表現とは [#d216d4e0]
-''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE...
--文字を表すための特殊な文字(メタ文字)
--置換・検索・grepで利用できる
--記号はすべて半角
--特殊文字そのものを表す場合には\でエスケープする(特殊な...
-文字クラス [ ]
--文字クラスの補集合(それ以外の文字)[^ ]
(つづく)
-[[授業資料/正規表現]]
**2011/10/07 テキストデータとテキストエディタ
まずは、テキストエディタを使ってテキストデータを扱うこと...
-共有フォルダの確認
--マイネットワーク>share>日本語コーパス
***(補足)「コーパス」について [#k44345b6]
この授業ではBCCWJのほかに、青空文庫・国会会議録などの広義...
-狭義のコーパス 言語研究を目的として収集され、言語研究の...
--Kotonoha (BCCWJ / CSJ / 太陽コーパス)
-広義のコーパス コンピュータ上で利用可能な大規模な言語デ...
--さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫...
--Webデータ
---検索サイトの利用
---WAC(Web as Corpus)
***テキストデータ [#wee47413]
全ての基本。テキストデータ≒テキストファイル≒電子化テキスト
-テキストデータとはどんなものか
--[[授業資料/テキストデータとは]]
--[[授業資料/文字コード関連リンク]]
--[[授業資料/テキストデータ紹介]](広義のコーパス)
---参考 [[『国会会議録を使った日本語研究』>http://www.hit...
#amazon(4894762994)
***テキストファイルと拡張子 [#c15ea011]
-[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%...
-拡張子辞典:http://jisyo.com/viewer/list/list.html
-TXT,CSV,HTM・・・
***テキストエディタ [#q7ae852c]
-テキストエディタとはどんなものか
--[[授業資料/テキストエディタ]]
***テキストエディタの基礎 [#l73e457c]
-スタイル行番号(ワープロ的行番号)と論理行番号(エディタ...
--cf. 見た目 と 構造
-検索と置換、grep
**2011/09/30 イントロダクション [#p494942d]
-[[自己紹介]]
-[[国立国語研究所(NINJAL)>http://www.ninjal.ac.jp/]]
-国語研コーパス([[KOTONOHA>http://www.ninjal.ac.jp/koton...
--現代日本語書き言葉均衡コーパス(BCCWJ)
---[[特定領域 日本語コーパス>http://www.tokuteicorpus.jp/]]
---[[検索デモサイト>http://shonagon.ninjal.ac.jp]]
--日本語話し言葉コーパス(CSJ)
--太陽コーパス(明治・大正期の総合雑誌)
--通時コーパス(設計中)
-授業の進め方について
--受講者のレベルにあわせて基礎的なことから始め、自分の研...
--シラバス確認 https://mercas.hit-u.ac.jp/
-受講者アンケート
--専門・関心領域
--PCスキル
-デモンストレーション
--茶まめ(形態素解析)+Excel
***授業で利用する主なソフトウェア [#i06478d2]
|名前|種類|利用目的|h
|''[[秀丸エディタ>http://hide.maruo.co.jp/software/hidema...
|''[[Excel>http://office.microsoft.com/ja-jp/excel/defaul...
|''[[Access>http://office.microsoft.com/ja-jp/access/defa...
|''[[Word>http://office.microsoft.com/ja-jp/word/default....
|''[[ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%...
|''[[MeCab>http://mecab.sourceforge.net/]]''|形態素解析器...
|''[[UniDic>http://download.unidic.org]]''|形態素解析辞書...
|''[[BCCWJ:小納言>http://shonagon.ninjal.ac.jp]]''|Webサ...
|''[[BCCWJ:前中納言>http://morph.kotonoha.gr.jp/login.as...
|''[[BCCWJ:中納言>http://chunagon.ninjal.ac.jp]]''|Webサ...
ページ名: