授業資料/コマンドラインの基礎の履歴(No.2)

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
授業資料/コマンドラインの基礎へ行く。
- 1 (2024-10-28 (月) 12:24:35)
- 2 (2024-10-28 (月) 12:27:28)
- 3 (2024-10-29 (火) 04:36:16)
- 4 (2024-10-30 (水) 18:19:03)
- 5 (2024-11-11 (月) 16:43:16)

コマンドラインの基礎†

↑

準備†

Ubuntu（Linux）をWindows（WSL）上で動かす
- Windowsでは伝統的なコマンドプロンプト（cmd.exe）やPowerShellが最初から使えるが、機能と汎用性の面からWSL上でLinuxを使うのがおすすめ。
- Windowsの標準の機能になって簡単にインストールして使用できるようになった
- WSLとは: Windows Subsystem for Linux
- Ubuntu: https://jp.ubuntu.com/

Microsoft StoreなどからWindows Terminalもインストールしておくと使い勝手が良い。

↑

WSLとUbuntuのインストール†

WSL を使用して Windows に Linux をインストールする
- Powershellを管理者権限で起動（アプリ->Windows PowerShell->管理者として実行）して下記をコピペ
```
wsl --install
```

↑

Macでは†

Homebrewをインストールしておく

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

↑

起動†

スタートメニューからUbuntuを起動
- またはWindows TerminalでUbuntuのタブを開く
- またはVSCodeのターミナルでUbuntuを開く
  - VSCodeのWSL拡張を入れておく
- Macの人は代わりにターミナルを起動

↑

最低限知っておきたいコマンド†

↑

はじめに†

コマンドの使い方を確認するには
- コマンド --help で使い方
```
less --help
```
- man コマンドでマニュアル
```
man less
```

便利な機能
- TAB補完
- ヒストリ（↑↓）

やりたいことをChatGPTに聞いてみるのもよい。ググるより効率がいい。

↑

サンプルテキストのダウンロード†

wget :webからファイルをダウンロードするツール
- インストール
```
sudo apt install wget
```
- インストール（Mac）
```
brew install wget
```

日本国憲法 JPConstitution.txt(UTF8) ※下のコマンドをターミナルにコピペしてダウンロード

wget "https://www.dropbox.com/scl/fi/ahwe6wd78u3rusqy6j4yl/JPConstitution.txt?rlkey=cwnsj0vtj7e6nnl5je40qmd0m&dl=1" -O JPConstitution.txt

こころ kokoro.txt(Shift_JIS)

wget "https://www.dropbox.com/s/r89ahi6goxy5a2c/kokoro.txt&dl=1" -O kokoro.txt

↑

ファイル操作関連のコマンド†

pwd :今いるディレクトリ（フォルダ）
ls :ファイルリストの表示
cd :今いるディレクトリから移動
mkdir :ディレクトリの作成
mv :ファイルの移動・リネーム
cp :ファイルのコピー
rm :ファイルの削除

unzip :zipファイルの展開（解凍）
- インストール
```
sudo apt install unzip
```
- インストール（Mac）
```
brew install unzip
```

↑

テキスト処理関連のコマンド†

echo :文字列を出力
less :テキストファイルを1ページごとに表示
- head :テキストファイルの先頭を表示
- tail :テキストファイルの末尾を表示
wc :行数・文字数等を表示
cut :列の取り出し
sort :並べ替え
uniq :重複の削除・集計
grep :検索（正規表現）
```
grep '正規表現' ファイル
```

sed :置換（正規表現）

sed -e 's/検索文字列/置換文字列/g' ファイル名

nkf :文字コード変換
- インストール
```
sudo apt install nkf
```
- インストール（Mac）
```
brew install nkf
```

↑

ファイルの確認†

中身を表示（qを押して終了）
```
less JPConstitution.txt
```

行数や文字数を表示

wc JPConstitution.txt
wc -m JPConstitution.txt

文字コードの変換

nkf -S -w8 kokoro.txt |less
nkf -S -w8 -Lu --overwrite kokoro.txt

正規表現を使った置換（ルビを取り去る）*1
```
sed -E -e 's/《.+?》//g;s/［＃.+?］//g' kokoro.txt >kokoro2.txt
```
- プログラムとして保存しておいて実行も
  - removeruby.sed
```
s/《.+?》//g
s/［＃.+?］//g
```

sed -E -f removeruby.sed kokoro.txt >kokoro2.txt

正規表現で検索

grep '読[まみむめもん]' kokoro.txt

↑

ターミナル上のテキストエディタ†

vi :昔からのエディタで癖が強い
nano :割と普通（だけどショートカットキーが〃）

code :VSCodeで開く*2
```
ls|code -
```

↑

標準入出力とパイプ†

> :ファイルなどに処理結果を出力
>> :追加出力
< :ファイルなどから入力
| :出力を次のコマンドにつなぐ

↑

WSL関連（Windows）†

Explorerのアドレスバーにwslと打つと、今いるフォルダをカレントディレクトリにしてUbuntuのターミナルが開く
Explorerのアドレスバーに\\wsl$と打つとUbuntuのファイル（ルート）が開ける

UbuntuのターミナルからWindowsのコマンドが呼べる

↑

MeCabとUniDic†

MeCabのインストール
```
sudo apt install mecab
```

Mac
```
brew install mecab
```

UniDicのダウンロード
- 現代書き言葉UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2302/unidic-cwj-202302.zip
unzip unidic-cwj-202302.zip -d unidic-cwj

旧仮名口語UniDic

wget https://clrd.ninjal.ac.jp/unidic_archive/2203/UniDic-202203_60b_qkana.zip
unzip UniDic-202203_60b_qkana.zip
mv 60b_qkana unidic-qkana
mv unidic-qkana/.dicrc unidic-qkana/dicrc

動作確認
```
mecab -v
```

echo "ゼレンスキー大統領" | mecab -d unidic-cwj
echo "井ノ上たきな" | mecab -d unidic-cwj

echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -d unidic-cwj
echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -d unidic-qkana

mecab -d unidic-cwj JPConstitution.txt | less

↑

短単位解析†

mecab -d unidic-cwj -Ochamame JPConstitution.txt
mecab -d unidic-qkana -Ochamame JPConstitution.txt

d 辞書を置いたディレクトリの指定
O 出力フォーマットの指定（dicrcに書式指定あり）
- -Ochamame :以前の茶まめの出力形式*3
- -Ounidic :以前のUniDicの出力形式*4
- 指定しないと全部の列が出力される

新茶まめ風フォーマットの指定

辞書フォルダのdicrcに書いておくとOオプションで楽に指定できる

語彙素

語彙素読み

語形

品詞

活用型

活用形

書字形

発音形

語種

語彙素ID

;語彙素\t語彙素読み\t語形\t品詞\t活用型\t活用形\t書字形\t発音形\t語種\t語彙素ID
node-format-chamame2 = \t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n
unk-format-chamame2 = \t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n
bos-format-chamame2 = B
eos-format-chamame2 =

#現代語unidic-cwj
- node-format= \t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n
#旧仮名unidic-qkana（現代語用と違うので注意。まもなく出す新バージョンで同じになります）
- node-format= \t%m\t%f[7]\t%f[6]\t%f[15]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[11]\t%f[26]\n

新茶まめ風フォーマットを直接指定して解析

mecab -d unidic-cwj --node-format="\t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n" --unk-format="\t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n" --bos-format="B" JPConstitution.txt > JPConstitution_morph.txt
mecab -d unidic-qkana  --node-format="\t%m\t%f[7]\t%f[6]\t%f[15]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[11]\t%f[26]\n"  --unk-format="\t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n" --bos-format="B" JPConstitution.txt > JPConstitution_morph2.txt

またはdicrcにchamame2の書式を指定後にOオプションで指定して解析

mecab -d unidic-cwj -Ochamame2 JPConstitution.txt > JPConstitution_morph.txt
mecab -d unidic-qkana -Ochamame2 JPConstitution.txt > JPConstitution_morph2.txt

できているか確認

less JPConstitution_morph.txt
less JPConstitution_morph2.txt

↑

解析結果の処理†

辞書による違いの確認

diff JPConstitution_morph.txt JPConstitution_morph2.txt

接続詞だけ
```
grep 接続詞 JPConstitution_morph.txt
```

固有名詞だけ（旧仮名UniDicでないと解析エラー多）

grep 固有名詞 JPConstitution_morph.txt
grep 固有名詞 JPConstitution_morph2.txt

検索して集計

grep 接続詞 JPConstitution_morph2.txt |sort |uniq -c
grep $'\t副詞' JPConstitution_morph2.txt |sort |uniq -c

発音形出現形だけ*5
```
cut -f 10 JPConstitution_morph.txt
```

品詞列だけ取り出して集計

cut -f 6 JPConstitution_morph.txt|sort|uniq -c

さらに数が多い順に並べる

cut -f 6 JPConstitution_morph.txt|sort|uniq -c|sort -nr

↑

シェルスクリプト†

コマンドを並べたテキストファイルを .shファイルにまとめる（バッチファイル）
- shファイルに実行可能フラグを付ける
```
chmod +x *.sh
```

サンプルchiisakimonoe.sh （有島武郎「小さき者へ」のテキストをダウンロードしてきてUTF-8に変換後、MeCab+UniDic-cwjで解析して、副詞の一覧を出力する）

wget "https://www.dropbox.com/scl/fi/vsphond396zcoxaqlhlp3/chiisakimonoe.txt?rlkey=89a63g0ni4hdxaqzlb02h5cbu&dl=1" -O chiisakimonoe.txt
nkf -S -w8 --overwrite chiisakimonoe.txt
mecab -d unidic-cwj --node-format="\t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\t%f[28]\n" --unk-format="\t%m\t\t\t%m\t未知語\t\t\t\t\t\t\n" --bos-format="B" chiisakimonoe.txt > chiisakimonoe_morph.txt
grep $'\t副詞' chiisakimonoe_morph.txt |sort |uniq -c

シェルスクリプトは変数や制御構文も使えてもっと本格的なことができるが以下略

↑

授業資料/コマンドラインの基礎 の履歴(No.2)