日本語テキスト処理基礎講座2023/④コマンドラインの基礎の履歴(No.11)

日本語テキスト処理基礎講座2023

コマンドラインの基礎†

↑

準備†

Ubuntu (Linux)をWindows（WSL）上で動かす
- Windowsでは伝統的なコマンドプロンプト（cmd.exe）やPowerShellが最初から使えるが、機能と汎用性の面からWSL上でLinuxを使うのがおすすめ。
- Windowsの標準の機能になって簡単にインストールして使用できるようになった
- WSLとは: Windows Subsystem for Linux
- Ubuntu: https://jp.ubuntu.com/

Microsoft StoreなどからWindows Terminalもインストールしておくと使い勝手が良い。

↑

WSLとUbuntuのインストール†

WSL を使用して Windows に Linux をインストールする
- Powershellを管理者権限で起動（アプリ->Windows PowerShell->管理者として実行）して下記をコピペ
```
wsl --install
```

↑

Macでは†

Homebrewをインストールしておく

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

↑

起動†

スタートメニューからUbuntuを起動
- またはWindows TerminalでUbuntuのタブを開く
- またはVSCodeのターミナルでUbuntuを開く
  - VSCodeのWSL拡張を入れておく
- Macの人は代わりにターミナルを起動

↑

最低限知っておきたいコマンド†

↑

はじめに†

コマンドの使い方を確認するには
- コマンド --helpで使い方
- man コマンドでマニュアル

便利な機能
- TAB補完
- ヒストリ（↑↓）

やりたいことをChatGPTに聞いてみるのもよい。ググるより効率がいい。

↑

サンプルテキストのダウンロード†

wget :webからファイルをダウンロードするツール
- インストール
```
sudo apt install wget
```
- インストール（Mac）
```
brew install wget
```

日本国憲法 JPConstitution.txt(UTF8) ※下のコマンドをターミナルにコピペしてダウンロード

wget "https://www.dropbox.com/scl/fi/ahwe6wd78u3rusqy6j4yl/JPConstitution.txt?rlkey=cwnsj0vtj7e6nnl5je40qmd0m&dl=1" -O JPConstitution.txt

こころ kokoro.txt(Shift_JIS)

wget "https://www.dropbox.com/s/r89ahi6goxy5a2c/kokoro.txt&dl=1" -O kokoro.txt

↑

ファイル操作関連のコマンド†

pwd :今いるディレクトリ（フォルダ）
ls :ファイルリストの表示
cd :今いるディレクトリから移動
mkdir :ディレクトリの作成
mv :ファイルの移動・リネーム
cp :ファイルのコピー
rm :ファイルの削除

unzip :zipファイルの展開（解凍）

↑

テキスト処理関連のコマンド†

echo :文字列を出力
less :テキストファイルを1ページごとに表示
- head :テキストファイルの先頭を表示
- tail :テキストファイルの末尾を表示
wc :行数・文字数等を表示
cut :列の取り出し
sort :並べ替え
uniq :重複の削除・集計
grep :検索（正規表現）

sed :置換（正規表現）

sed -e 's/検索文字列/置換文字列/g' ファイル名

nkf :文字コード変換
- インストール
```
sudo apt install nkf
```
- インストール（Mac）
```
brew install nkf
```

↑

ファイルの確認†

中身を表示（qを押して終了）
```
less JPConstitution.txt
```

文字コードの変換

nkf -S -w8 kokoro.txt |less
nkf -S -w8 --overwrite kokoro.txt

ルビを取り去る*1

sed -E -e 's/《.+?》//g;s/［＃.+?］//g' kokoro.txt

行数や文字数を表示

wc JPConstitution.txt
wc -c JPConstitution.txt

↑

ターミナル上のテキストエディタ†

vi :昔からのエディタで癖が強い
nano :割と普通（だけどショートカットキーが〃）

code :VSCodeで開く

↑

標準入出力とパイプ†

> :ファイルなどに処理結果を出力
>> :追加出力
< :ファイルなどから入力
| :出力を次のコマンドにつなぐ

↑

WSL関連（Windows）†

Explorerでwslと打つと、今いるフォルダをカレントディレクトリにしてUbuntuのターミナルが開く
Explorerなどで\\wsl$と打つとUbuntuのファイル（ルート）が開ける

UbuntuのターミナルからWindowsのコマンドが呼べる

↑

MeCabとUniDic†

MeCabのインストール
```
sudo apt install mecab
```

Mac
```
brew install mecab
```

UniDicのダウンロード
- 現代書き言葉UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2302/unidic-cwj-202302.zip
unzip unidic-cwj-202302.zip -d unidic-cwj

旧仮名口語UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2203/UniDic-202203_60b_qkana.zip
unzip UniDic-202203_60b_qkana.zip
mv 60b_qkana unidic-qkana
mv unidic-qkana/.dicrc unidic-qkana/dicrc

動作確認
```
mecab -v
```

echo "ゼレンスキー大統領" | mecab -d unidic-cwj
echo "井ノ上たきな" | mecab -d unidic-cwj

echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -d unidic-cwj
echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -d unidic-qkana

mecab -d unidic-cwj JPConstitution.txt | less

↑

短単位解析†

mecab -d unidic-cwj -Ochamame JPConstitution.txt > JPConstitution_morph.txt

mecab -d unidic-qkana -Ochamame JPConstitution.txt > JPConstitution_morph2.txt

d 辞書を置いたディレクトリの指定
O 出力フォーマットの指定（dicrcに書式指定あり）
- -Ochamame :以前の茶まめの出力形式
- -Ounidic :以前のUniDicの出力形式
- 指定しないと全部の列が出力される

できているか確認
```
less JPConstitution_morph.txt
```

↑

解析結果の処理†

接続詞だけ
```
grep 接続詞 JPConstitution_morph.txt
```

固有名詞だけ（旧仮名UniDicでないと解析エラー多）

grep 固有名詞 JPConstitution_morph.txt
grep 固有名詞 JPConstitution_morph2.txt

検索して集計

grep 接続詞 JPConstitution_morph.txt |sort |uniq -c
grep $'\t副詞' JPConstitution_morph.txt |sort |uniq -c

発音形出現形だけ
```
cut -f 10 JPConstitution_morph.txt
```

↑

シェルスクリプト†

バッチファイルとして .shファイルにまとめる

↑

日本語テキスト処理基礎講座2023/④コマンドラインの基礎 の履歴(No.11)

コマンドラインの基礎†

準備†

WSLとUbuntuのインストール†

Macでは†

起動†

最低限知っておきたいコマンド†

はじめに†

サンプルテキストのダウンロード†

ファイル操作関連のコマンド†

テキスト処理関連のコマンド†

ファイルの確認†

ターミナル上のテキストエディタ†

標準入出力とパイプ†

WSL関連（Windows）†

MeCabとUniDic†

短単位解析†

解析結果の処理†

シェルスクリプト†

参考†

日本語テキスト処理基礎講座2023/④コマンドラインの基礎の履歴(No.11)