総研大2024/言語資源学 の履歴(No.13)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 総研大2024/言語資源学 へ行く。
  • 1 (2024-05-07 (火) 11:41:57)
  • 2 (2024-05-19 (日) 19:32:27)
  • 3 (2024-05-20 (月) 17:09:18)
  • 4 (2024-05-21 (火) 15:59:30)
  • 5 (2024-05-21 (火) 15:59:30)
  • 6 (2024-05-27 (月) 10:43:10)
  • 7 (2024-05-27 (月) 15:39:24)
  • 8 (2024-06-03 (月) 11:55:20)
  • 9 (2024-06-10 (月) 13:05:44)
  • 10 (2024-06-17 (月) 13:29:53)
  • 11 (2024-06-17 (月) 16:38:59)
  • 12 (2024-06-23 (日) 16:13:41)
  • 13 (2024-06-24 (月) 14:56:27)
  • 14 (2024-06-24 (月) 16:54:00)

---

総研大2024

• 月曜4限

2024/06/24 （小木曽担当最終回）†

短単位解析（Web茶まめ）とデータベース†

• 大納言形式での出力
  • じんもんこん2023:形態素解析ツール Web茶まめによるコーパス作成支援 (http://id.nii.ac.jp/1001/00231264/)
  • ocx:タグ版（ocx_kokoro.xml）

• DTD kokoro.dtd

  <!ELEMENT ocx:doc (title|author|h1|h2|p|speech|pagebreak|ocx:s)*>
  <!ATTLIST ocx:doc sampleID CDATA #REQUIRED>
  <!ATTLIST ocx:doc corpusName CDATA #REQUIRED>
  <!ATTLIST ocx:doc xmlns:ocx CDATA #REQUIRED>
  <!ELEMENT ocx:ruby (#PCDATA|gaiji)*>
  <!ATTLIST ocx:ruby rt CDATA #REQUIRED>
  <!ELEMENT ocx:s EMPTY>

• XML Schema kokoro.xsd
  • 参考：https://www.xmlmaster.org/article/d01/c05/

• 解析結果
  • 形態論情報はスタンドオフアノテーション

語数表と調整頻度†

• BCCWJ
  • 短単位語数表Excel http://doi.org/10.15084/00003226
  • 長単位語数表Excel http://doi.org/10.15084/00003224
• CEJC
• CHJ
  • 短単位語数表Excel(バージョン2024.03) https://clrd.ninjal.ac.jp/chj/doc/CHJ_SUW_WC_202403.xlsx
  • 長単位語数表Excel(バージョン2024.03) https://clrd.ninjal.ac.jp/chj/doc/CHJ_LUW_WC_202403.xlsx
• SHC
  • 短単位語数表CSV https://clrd.ninjal.ac.jp/shc/doc/SHC_WC_202305.csv

ランダムサンプリング調査†

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

Excelの文字列関数†

• 授業資料/EXCELの文字列関数参照

VLOOKUP関数の利用†

• 授業資料/VLOOKUP関数参照

• 辞書引き集計 [#k380e1c9]
  • 自分で作った（または誰かが用意してくれた）辞書データ（コーパスの見出し語に対する追加情報）を利用する
    • 例：形容詞の意味分類付与
    • （参考）分類語彙表 https://clrd.ninjal.ac.jp/goihyo.html
    • サンプルデータ（味・においの形容詞）

コーパスの語彙表†

• 語数表とは違ってどの語が何例ずつあるか集計した表（巨大な表で開くのがたいへんなので注意。本当はデータベースに入れて使ったほうがいい）

• BCCWJ
  • 短単位語彙表(Version 1.1) https://doi.org/10.15084/00003219
  • 長単位語彙表(Version 1.1) https://doi.org/10.15084/00003213
• CHJ
  • 『日本語歴史コーパス』統合語彙表（バージョン2024.03） https://doi.org/10.15084/0002000263
• SHC
  • 『昭和・平成書き言葉コーパス』短単位語彙表（バージョン2023.05） https://doi.org/10.15084/0002000043
• CEJC
  • https://www2.ninjal.ac.jp/conversation/cejc/cejc-wc.html

語彙表とコロケーション強度†

• 授業資料/コロケーション強度参照
  • 例：「玉葱」と共起する動詞
    • collocation_sample.xlsx

特徴語抽出†

• Excelマクロ
• 授業資料/対数尤度比による特徴語抽出参照

2024/06/17†

DTDと検証(validation)†

• DTD (Document Type Definition)とは
  • 参考：https://www.javadrive.jp/xml/dtd/

• 前回のkokoro.xmlのDTDを作ってみる

  <!DOCTYPE doc[
     <!ELEMENT doc (title, author, (info|div)*)>
     <!ELEMENT title (#PCDATA)>
     <!ELEMENT author (#PCDATA)>
     <!ATTLIST doc title CDATA #REQUIRED>
     <!ATTLIST doc author CDATA #REQUIRED>
     <!ELEMENT div (title,(section|p|info)*)>
     <!ATTLIST div title CDATA #REQUIRED>
     <!ELEMENT p (#PCDATA|r|gaiji)*>
     <!ELEMENT section (#PCDATA)>
     <!ELEMENT info EMPTY>
     <!ATTLIST info text CDATA #REQUIRED>
     <!ELEMENT r (#PCDATA|gaiji)*>
     <!ATTLIST r rt CDATA #REQUIRED>
     <!ELEMENT gaiji (#PCDATA)>
     <!ATTLIST gaiji text CDATA #REQUIRED>
     ]>

XPath, XSLT†

• VSCode XML Tools ※XPathによる検索ができる拡張

• XPathとは
  • https://developer.mozilla.org/ja/docs/Web/XPath
• XSLTとは
  • https://developer.mozilla.org/ja/docs/Web/XSLT

XMLファイルと形態論情報DB†

• スライド参照

XMLファイルの形態素解析†

• Web茶まめ
  • https://chamame.ninjal.ac.jp/

書き言葉コーパスの例（テキスト化＋XMLアノテーション＋形態論情報付与）†

• 明六雑誌コーパス：https://ccd.ninjal.ac.jp/cmj/meiroku/

参考：日本語テキスト処理基礎講座2023†

• 日本語テキスト処理基礎講座2023/①テキストエディタと正規表現
• 日本語テキスト処理基礎講座2023/③XMLの基礎

• 次回（小木曽担当最終回）：Excel

2024/06/10†

XMLアノテーションの実際†

• サンプルテキスト（青空文庫の夏目漱石「こころ」）をXMLに
  • 練習用サンプルデータkokoto.txt
• タグ付き正規表現を使った置換の応用
  • ただし、正規表現では、XMLのような入れ子のタグに完全にマッチする表現力はない*1

Himawariでの利用†

• 全文検索システム「ひまわり」（山口昌也先生）

• kokoro.xmlをHimawariで使ってみる
  • 設定ファイルとインデキシング
• コーパスのXMLファイルをUTF-16LE（LF改行）で保存しておくこと！
  • soseki_config.xml

2024/06/03†

正規表現の利用例：中納言の検索結果を整える†

エディタに検索結果の列を貼り付けて置換で整形

• 前後文脈をキーを含む文だけにする

  .+# →
  #.+ →

• 品詞大分類だけを利用する

  -.+ →

• BCCWJのジャンルを整える
  • (新) 1 哲学/198.37|(旧) 1 哲学/198
• 前後文脈でマッチした語を抜き出す
  • (広く)|,深く,|かつ|システマティック|に

XML†

• (参考) XML入門 https://www.javadrive.jp/xml/

BCCWJのXMLタグセット†

• https://clrd.ninjal.ac.jp/bccwj/c-xml.html

TEI (Text Encoding Initiative)†

• https://tei-c.org/
  • 参考資料:TEI入門に最適なウェブ資料（関西大・東アジアDHポータル）
  • chapter 8　歴史データのさまざまな応用 －Text Encoding Initiative の現在－（永崎研宣）★『歴史情報学の教科書』

2024/05/27†

• news: 「Excel」に正規表現の新関数が3つ導入へ ～「XLOOKUP」「XMATCH」にも対応予定 2024年5月21日

補足：VSCodeのGrep検索†

1. フォルダを開く
2. 検索
3. "エディターで開く"

正規表現（続き）†

正規表現とは†

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
  • テキストエディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
  • 特殊な文字（メタ文字）はすべて半角

正規表現のいろいろ†

• 授業資料/正規表現
  • 文字クラス [ ]
  • 文字クラスの否定（補集合）[^ ]

---

• 繰り返し ? + *
  • 正規表現は、パターンが一致する最も長い範囲にマッチする（greedy matching）
• 最短一致の繰り返し +? *?
• グループ化 ()
• or（論理和） |
• 文頭 ^、文末 $

正規表現の応用†

• カタカナ語
  • カタカナ（外来語）の形容動詞語幹
• 送りがなの揺れ（行う／行なう）
• 会話文中（"「"で始まる文中）の用例を検索する
• 同一文中での共起
  • 全然～ない。
  • もし～なら（ば）

• 【課題】VS Codeで正規表現を使ってサンプルテキストのふりがなタグを置換で削除

テキストデータ（青空文庫の夏目漱石作品）の配布†

• ★soseki2.zip

タグ付き正規表現†

• 走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
  • 次のように置換するととんでもないことに…
    • 検索文字列：走[らりるれろっ]
    • 置換文字列：★走[らりるれろっ]
• タグ付き正規表現：カッコ（半角丸カッコ）と\1（\2，\3…）を使う
• 授業資料/タグつき正規表現

検索文字列の中での後方参照†

• 検索語の中で\1を使う
  • (..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
  • (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
  • (..)\1\1
  • (...)\1

正規表現に関する参考資料†

• サクラエディタの正規表現：https://sakura-editor.github.io/help/HLP000089.html
• 正規表現に関する本　amazonで検索
• ゲームの紹介:
  • 正規表現を学ぶ狩りに出ようRegex Hunting

• 補足：Wordのワイルドカードと正規表現
  • https://note.com/jinbunxshakai/n/n8070db080041

2024/05/20†

日本語電子化資料の歴史†

紙の資料からコーパスまで ～テキストの電子化とアノテーションの高度化†

1. (紙の)本文
2. (紙の)総索引（コンコーダンス）
3. 電子テキスト：テキスト （199x年代～）
   • 授業資料/テキストデータ紹介
4. 構造化テキスト：テキスト+XMLによる構造化タグ （200x年代～）
   • 太陽コーパスなど
5. 単語情報付きのコーパス：テキスト+XMLによる構造化タグ+形態論情報　（201x年代～）
   • 現代日本語書き言葉均衡コーパス（BCCWJ）など
   • 日本語歴史コーパス（CHJ）など

コーパスのファイル形式とアプリケーション†

• ファイル形式と実例
  1. 電子テキスト：プレーンテキスト
  2. 構造化テキスト：XMLファイル
  3. 単語情報付きデータ：単語情報を埋め込んだXML　／XMLファイル＋CSVファイル
  • （発展）XMLの限界とスタンドオフアノテーション

• それぞれの利用アプリケーション
  1. 電子テキスト：テキストエディタ＋grepなど
  2. 構造化テキスト：全文検索システム「ひまわり」、XMLエディタ（Oxygen, VSCode）、XPath・XSLT
  3. 単語情報付きデータ：中納言（オンライン）／Chaki.Net（ローカル）

テキストエディタ†

• 授業資料/テキストエディタ

• VisualStudio Codeのインストールと設定
  • 拡張機能 Japanese Language Packの追加
    • 参考：https://web.yokkaichi-u.ac.jp/yucc/archives/1542
  • ファイルオープン時にエンコーディングを自動判別するよう設定
    • https://www.javadrive.jp/vscode/setting/index3.html
  • 拡張機能 XML Language Support by Red Hatの追加

テキストデータと文字コード†

• 授業資料/テキストデータとは

• 練習用サンプルデータkokoto.txt

• 【課題】サンプルテキスト（青空文庫の夏目漱石「こころ」）をダウンロードしてVS codeで開き、UTF-8で保存しなおす

正規表現について†

• 授業資料/正規表現
  • 文字クラス [ ]
  • 文字クラスの否定（補集合）[^ ]