日本語テキスト処理基礎講座2023/④コマンドラインの基礎の履歴(No.13)

日本語テキスト処理基礎講座2023

コマンドラインの基礎†

↑

準備†

Ubuntu (Linux)をWindows（WSL）上で動かす
- Windowsでは伝統的なコマンドプロンプト（cmd.exe）やPowerShellが最初から使えるが、機能と汎用性の面からWSL上でLinuxを使うのがおすすめ。
- Windowsの標準の機能になって簡単にインストールして使用できるようになった
- WSLとは: Windows Subsystem for Linux
- Ubuntu: https://jp.ubuntu.com/

Microsoft StoreなどからWindows Terminalもインストールしておくと使い勝手が良い。

↑

WSLとUbuntuのインストール†

WSL を使用して Windows に Linux をインストールする
- Powershellを管理者権限で起動（アプリ->Windows PowerShell->管理者として実行）して下記をコピペ
```
wsl --install
```

↑

Macでは†

Homebrewをインストールしておく

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

↑

起動†

スタートメニューからUbuntuを起動
- またはWindows TerminalでUbuntuのタブを開く
- またはVSCodeのターミナルでUbuntuを開く
  - VSCodeのWSL拡張を入れておく
- Macの人は代わりにターミナルを起動

↑

最低限知っておきたいコマンド†

↑

はじめに†

コマンドの使い方を確認するには
- コマンド --helpで使い方
- man コマンドでマニュアル

便利な機能
- TAB補完
- ヒストリ（↑↓）

やりたいことをChatGPTに聞いてみるのもよい。ググるより効率がいい。

↑

サンプルテキストのダウンロード†

wget :webからファイルをダウンロードするツール
- インストール
```
sudo apt install wget
```
- インストール（Mac）
```
brew install wget
```

日本国憲法 JPConstitution.txt(UTF8) ※下のコマンドをターミナルにコピペしてダウンロード

wget "https://www.dropbox.com/scl/fi/ahwe6wd78u3rusqy6j4yl/JPConstitution.txt?rlkey=cwnsj0vtj7e6nnl5je40qmd0m&dl=1" -O JPConstitution.txt

こころ kokoro.txt(Shift_JIS)

wget "https://www.dropbox.com/s/r89ahi6goxy5a2c/kokoro.txt&dl=1" -O kokoro.txt

↑

ファイル操作関連のコマンド†

pwd :今いるディレクトリ（フォルダ）
ls :ファイルリストの表示
cd :今いるディレクトリから移動
mkdir :ディレクトリの作成
mv :ファイルの移動・リネーム
cp :ファイルのコピー
rm :ファイルの削除

unzip :zipファイルの展開（解凍）
- インストール
```
sudo apt install unzip
```
- インストール（Mac）
```
brew install unzip
```

↑

テキスト処理関連のコマンド†

echo :文字列を出力
less :テキストファイルを1ページごとに表示
- head :テキストファイルの先頭を表示
- tail :テキストファイルの末尾を表示
wc :行数・文字数等を表示
cut :列の取り出し
sort :並べ替え
uniq :重複の削除・集計
grep :検索（正規表現）
```
grep '正規表現' ファイル
```

sed :置換（正規表現）

sed -e 's/検索文字列/置換文字列/g' ファイル名

nkf :文字コード変換
- インストール
```
sudo apt install nkf
```
- インストール（Mac）
```
brew install nkf
```

↑

ファイルの確認†

中身を表示（qを押して終了）
```
less JPConstitution.txt
```

行数や文字数を表示

wc JPConstitution.txt
wc -c JPConstitution.txt

文字コードの変換

nkf -S -w8 kokoro.txt |less
nkf -S -w8 --overwrite kokoro.txt

ルビを取り去る*1

sed -E -e 's/《.+?》//g;s/［＃.+?］//g' kokoro.txt >kokoro2.txt

プログラムとして保存しておいて実行も
- removeruby.sed
```
s/《.+?》//g
s/［＃.+?］//g
```

sed removeruby.sed kokoro.txt >kokoro2.txt

正規表現で検索

grep '読[まみむめもん]' kokoro.txt

↑

ターミナル上のテキストエディタ†

vi :昔からのエディタで癖が強い
nano :割と普通（だけどショートカットキーが〃）

code :VSCodeで開く

↑

標準入出力とパイプ†

> :ファイルなどに処理結果を出力
>> :追加出力
< :ファイルなどから入力
| :出力を次のコマンドにつなぐ

↑

WSL関連（Windows）†

Explorerでwslと打つと、今いるフォルダをカレントディレクトリにしてUbuntuのターミナルが開く
Explorerなどで\\wsl$と打つとUbuntuのファイル（ルート）が開ける

UbuntuのターミナルからWindowsのコマンドが呼べる

↑

MeCabとUniDic†

MeCabのインストール
```
sudo apt install mecab
```

Mac
```
brew install mecab
```

UniDicのダウンロード
- 現代書き言葉UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2302/unidic-cwj-202302.zip
unzip unidic-cwj-202302.zip -d unidic-cwj

旧仮名口語UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2203/UniDic-202203_60b_qkana.zip
unzip UniDic-202203_60b_qkana.zip
mv 60b_qkana unidic-qkana
mv unidic-qkana/.dicrc unidic-qkana/dicrc

動作確認
```
mecab -v
```

echo "ゼレンスキー大統領" | mecab -d unidic-cwj
echo "井ノ上たきな" | mecab -d unidic-cwj

echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -d unidic-cwj
echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -d unidic-qkana

mecab -d unidic-cwj JPConstitution.txt | less

↑

短単位解析†

mecab -d unidic-cwj -Ochamame JPConstitution.txt
mecab -d unidic-qkana -Ochamame JPConstitution.txt

d 辞書を置いたディレクトリの指定
O 出力フォーマットの指定（dicrcに書式指定あり）
- -Ochamame :以前の茶まめの出力形式*2
- -Ounidic :以前のUniDicの出力形式*3
- 指定しないと全部の列が出力される

新茶まめ風フォーマットの指定

辞書フォルダのdicrcに書いておくとOオプションで楽に指定できる

語彙素

語彙素読み

語形

品詞

活用型

活用形

書字形

発音形

語種

語彙素ID

;語彙素\t語彙素読み\t語形\t品詞\t活用型\t活用形\t書字形\t発音形\t語種\t語彙素ID
node-format-chamame2 = \t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n
unk-format-chamame2 = \t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n
bos-format-chamame2 = B
eos-format-chamame2 =

#現代語unidic-cwj
- node-format= \t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n
#旧仮名unidic-qkana（現代語用と違うので注意。まもなく出す新バージョンで同じになります）
- node-format= \t%m\t%f[7]\t%f[6]\t%f[15]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[11]\t%f[26]\n

新茶まめ風フォーマットを直接指定して解析

mecab -d unidic-cwj --node-format="\t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n" --unk-format="\t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n" --bos-format="B" JPConstitution.txt > JPConstitution_morph.txt
mecab -d unidic-qkana  --node-format="\t%m\t%f[7]\t%f[6]\t%f[15]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[11]\t%f[26]\n"  --unk-format="\t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n" --bos-format="B" JPConstitution.txt > JPConstitution_morph2.txt

またはdicrcにchamame2の書式を指定後にOオプションで指定して解析

mecab -d unidic-cwj -Ochamame2 JPConstitution.txt > JPConstitution_morph.txt
mecab -d unidic-qkana -Ochamame2 JPConstitution.txt > JPConstitution_morph2.txt

できているか確認

less JPConstitution_morph.txt
less JPConstitution_morph2.txt

↑

解析結果の処理†

辞書による違いの確認

diff JPConstitution_morph.txt JPConstitution_morph2.txt

接続詞だけ
```
grep 接続詞 JPConstitution_morph.txt
```

固有名詞だけ（旧仮名UniDicでないと解析エラー多）

grep 固有名詞 JPConstitution_morph.txt
grep 固有名詞 JPConstitution_morph2.txt

検索して集計

grep 接続詞 JPConstitution_morph2.txt |sort |uniq -c
grep $'\t副詞' JPConstitution_morph2.txt |sort |uniq -c

発音形出現形だけ
```
cut -f 10 JPConstitution_morph.txt
```

品詞列だけ取り出して集計

cut -f 6 JPConstitution_morph.txt|sort|uniq -c

さらに多い順に並べる

cut -f 6 JPConstitution_morph.txt|sort|uniq -c|sort -nr

↑

シェルスクリプト†

コマンドを並べたテキストファイルを .shファイルにまとめる（バッチファイル）
- shファイルに実行可能フラグを付ける
```
chmod +x *.sh
```

サンプルchiisakimonoe.sh （有島武郎「小さき者へ」のテキストをダウンロードしてきてUTF-8に変換後、MeCab+UniDic-cwjで解析して、副詞の一覧を出力する）

wget "https://www.dropbox.com/scl/fi/vsphond396zcoxaqlhlp3/chiisakimonoe.txt?rlkey=89a63g0ni4hdxaqzlb02h5cbu&dl=1" -O chiisakimonoe.txt
nkf -S -w8 --overwrite chiisakimonoe.txt
mecab -d unidic-cwj --node-format="\t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n" --unk-format="\t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n" --bos-format="B" chiisakimonoe.txt > chiisakimonoe_morph.txt
grep $'\t副詞' chiisakimonoe_morph.txt |sort |uniq -c

↑

日本語テキスト処理基礎講座2023/④コマンドラインの基礎 の履歴(No.13)