総研大2024/言語資源学演習1 の履歴(No.15)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 総研大2024/言語資源学演習1 へ行く。
  • 1 (2024-10-21 (月) 13:06:09)
  • 2 (2024-10-21 (月) 13:06:45)
  • 3 (2024-10-28 (月) 15:20:32)
  • 4 (2024-10-28 (月) 15:23:20)
  • 5 (2024-10-28 (月) 15:25:51)
  • 6 (2024-10-28 (月) 15:39:13)
  • 7 (2024-10-29 (火) 17:12:38)
  • 8 (2024-10-30 (水) 18:26:12)
  • 9 (2024-11-13 (水) 13:58:59)
  • 10 (2024-11-17 (日) 17:16:51)
  • 11 (2024-11-18 (月) 17:01:05)
  • 12 (2024-11-25 (月) 15:15:09)
  • 13 (2024-11-26 (火) 14:30:37)
  • 14 (2024-12-16 (月) 12:28:57)
  • 15 (2024-12-23 (月) 15:08:04)

---

総研大2024

言語資源学演習Ⅰ†

• 月曜4限

• 授業フォルダ（OneDrive）

2024/12/23†

青空文庫XHTML取得シェルスクリプト†

#山月記
wget https://www.aozora.gr.jp/cards/000119/files/624_14544.html
#メロス
wget https://www.aozora.gr.jp/cards/000035/files/1567_14913.html
#注文の多い料理店
wget https://www.aozora.gr.jp/cards/000081/files/43754_17659.html
#高瀬舟
wget https://www.aozora.gr.jp/cards/000129/files/45245_22007.html
#羅生門
wget https://www.aozora.gr.jp/cards/000879/files/127_15260.html
#トロッコ
wget https://www.aozora.gr.jp/cards/000879/files/43016_16836.html

#文字コード変換
nkf -w --overwrite *.html
#Shift_JIS指定行を削除
sed -i '/Shift_JIS/d' *.html

XHTML変換プログラム†

授業資料/PythonでXML

• axhtml2xml.py

外字の対応表（プログラムと同じ場所に置いておく）

• gaiji_map.json
  • 参考：https://gist.github.com/whitebell/a7a8641cacbb8fb2e3113d7a6538293f

python3 axhtml2xml.py "*.html"

XMLファイルの検証†

コーパス用XMLの文書型定義(XML schema）

• aozora.xsd

データの検証（Validation）用pythonプログラム

• validate.py

python3 validate.py 1567_14913_太宰治\ 走れメロス.xml aozora.xsd

XMLファイルの短単位解析とDBへのインポート†

2024/12/16†

青空文庫XHTMLをコーパス用XMLにする†

• 授業資料/PythonでXML

• 方針を決める
  • 余計なタグをどうするか
  • フリガナの処理
• Pythonで変換プログラムを書く

2024/12/09 休講†

• 風邪のためお休みです

2024/12/02 休み†

2024/11/25†

はじめてのPython†

• 準備

• 青空文庫テキストを整形する
• 授業資料/Pythonでテキストデータ整形
• ChatGPTにうまく聞く

ライブラリのインストール†

• ライブラリ、パッケージ、モジュール

2024/11/18†

コマンドラインで形態素解析†

• コマンドラインで形態素解析
• diff, cut, sort, uniq

はじめてのPython†

• Pythonでデータ整形（準備）
• ChatGPTにうまく聞く

2024/11/11†

• コマンドラインに慣れる

2024/10/28 対象資料の決定／データ処理環境の整備†

対象資料の決定†

• 紙資料(OCR)
  • NDLOCR
  • WinReader PRO v.15

• デジタルデータ
  • Wikisource
  • 青空文庫

• 円朝の落語　https://www.aozora.gr.jp/index_pages/person989.html#sakuhin_list_1 -- K 2024-10-28 (月) 15:21:18
• 山月記　https://www.aozora.gr.jp/cards/000119/files/624_14544.html -- 呉 2024-10-28 (月) 15:21:50
• 注文の多い料理店　https://www.aozora.gr.jp/cards/000081/files/43754_17659.html -- hk 2024-10-28 (月) 15:22:16
• 舞姫 https://www.aozora.gr.jp/cards/000129/card682.html -- ogi 2024-10-28 (月) 15:25:51

データ処理環境の整備†

• VisualStudio Code
  • 授業資料/テキストエディタと正規表現
• WSL (Ubuntu)
  • 授業資料/コマンドラインの基礎

生成AI（Python プログラミングのサポート）†

• https://chatgpt.com/

2024/10/21 ガイダンス†

• シラバス

• 対象資料の選定
  • 自分の研究で使いたい資料
  • オープンデータ

• 整備した資料をOpenCHJの一部として公開することを検討