日本語テキスト処理基礎講座2023/④コマンドラインの基礎 の履歴(No.7)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 日本語テキスト処理基礎講座2023/④コマンドラインの基礎 へ行く。
  • 1 (2023-07-18 (火) 06:17:21)
  • 2 (2023-07-18 (火) 13:18:09)
  • 3 (2023-07-18 (火) 09:07:29)
  • 4 (2023-07-18 (火) 09:07:29)
  • 5 (2023-08-02 (水) 15:52:50)
  • 6 (2023-08-03 (木) 20:15:51)
  • 7 (2023-08-04 (金) 02:46:18)
  • 8 (2023-08-04 (金) 17:04:07)
  • 9 (2023-08-04 (金) 18:20:56)
  • 10 (2023-08-05 (土) 05:50:20)
  • 11 (2023-08-05 (土) 05:50:20)
  • 12 (2023-08-05 (土) 19:52:01)
  • 13 (2023-08-07 (月) 18:19:39)
  • 14 (2023-08-07 (月) 18:19:39)
  • 15 (2023-08-08 (火) 10:20:01)
  • 16 (2023-08-08 (火) 16:57:54)

---

日本語テキスト処理基礎講座2023

コマンドラインの基礎†

WSLとUbuntu†

• UbuntuをWSL上で動かす
  • WSLとは: Windows Subsystem for Linux
  • Ubuntu: https://jp.ubuntu.com/

WSLとUbuntuのインストール†

• WSL を使用して Windows に Linux をインストールする

起動†

• スタートメニューからUbuntuを起動
  • Macの人は代わりにターミナルを起動

最低限知っておきたいコマンド†

はじめに†

• コマンドの使い方を確認するには
  • コマンド --helpで使い方
  • man コマンドでマニュアル

• 便利な機能
  • TAB補完
  • ヒストリ（↑↓）

サンプルテキスト†

• 日本国憲法 JPConstitution.txt(UTF8) ※下のコマンドをターミナルにコピペしてダウンロード

  wget "https://www.dropbox.com/scl/fi/ahwe6wd78u3rusqy6j4yl/JPConstitution.txt?rlkey=cwnsj0vtj7e6nnl5je40qmd0m&dl=1" -O JPConstitution.txt

• こころ kokoro.txt(Shift_JIS)

  wget "https://www.dropbox.com/s/r89ahi6goxy5a2c/kokoro.txt&dl=1" -O kokoro.txt

ファイル操作関連のコマンド†

• pwd
• ls
• cd
• mkdir
• mv
• cp
• rm

• wget
• unzip

テキスト処理関連のコマンド†

• echo
• less
• head
• tail
• wc
• cut
• sort
• uniq
• grep
• sed

• nkf :文字コード変換
  • インストール

    sudo apt install nkf

    • インストール（Mac）

      brew install nkf

nkf -S -w8 kokoro.txt |less
nkf -S -w8 --overwrite kokoro.txt

テキストエディタ†

• vi :昔からのエディタで癖が強い
• nano :割と普通（だけどショートカットキーが）

• code :VSCodeで開く

標準入出力とパイプ†

• > :ファイルなどに処理結果を出力
• >> :追加出力
• < :ファイルなどから入力
• | :出力を次のコマンドにつなぐ

WSL関連（Windows）†

• Explorerでwslと打つと、今いるフォルダをカレントディレクトリにしてUbuntuのターミナルが開く
• Explorerなどで\\wsl$と打つとUbuntuのファイル（ルート）が開ける

• UbuntuのターミナルからWindowsのコマンドが呼べる

MeCabとUniDic†

• MeCabのインストール

  sudo apt install mecab

• Mac

  brew install mecab

• UniDicのダウンロード
  • 現代書き言葉UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2302/unidic-cwj-202302.zip
unzip unidic-cwj-202302.zip -d unidic-cwj

• 旧仮名口語UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2203/UniDic-202203_60b_qkana.zip
unzip UniDic-202203_60b_qkana.zip
mv 60b_qkana unidic-qkana
cp unidic-cwj/dicrc unidic-qkana/

• 動作確認

  mecab -v

echo "ゼレンスキー大統領" | mecab -d unidic-cwj
echo "井ノ上たきな" | mecab -d unidic-cwj

mecab -d unidic-cwj JPConstitution.txt | less

短単位解析†

mecab -d unidic-cwj -Ochamame JPConstitution.txt > JPConstitution_morph.txt

mecab -d unidic-qkana -Ochamame JPConstitution.txt > JPConstitution_morph2.txt

• d 辞書を置いたディレクトリの指定
• O 出力フォーマット（dicrcに指定あり）
  • -Ochamame :以前の茶まめの出力形式
  • -Ounidic :以前のUniDicの出力形式
  • 指定しないと全部の列が出力される

解析結果の処理†

• 接続詞だけ

  grep 接続詞 JPConstitution_morph.txt

• 固有名詞だけ（旧仮名UniDicでないと解析エラー多）

  grep 固有名詞 JPConstitution_morph.txt
  grep 固有名詞 JPConstitution_morph2.txt

• 副詞だけ検索して集計

  grep $'\t副詞' JPConstitution_morph.txt |sort |uniq -c

• 発音形出現形だけ

  cut -f 10 JPConstitution_morph.txt

参考†

• 言語処理100本ノック
• とほほのUnix/Linux入門
• とほほのBash入門