東京外大2017/JapanStudies1 の履歴(No.11) - OGI-Wiki

東京外大2017

Japan Studies 1：コーパス日本語学入門

春学期・木曜4限
ogiso＠ogiso.net　←＠を@に直してください

コーパス検索アプリケーション「中納言」 https://chunagon.ninjal.ac.jp/

2017/05/18 休講

出張のため休講とします。

2017/05/11

前回の単位分割課題

短単位・長単位分割の解答

形態論情報を使ったコーパスの検索

配布資料「中納言の使い方」参照
- この資料は次回以降も使いますので持ってきてください。

2017/04/27

コーパスの形態論情報：短単位と長単位

配布資料参照

品詞体系と見出し語の階層

BCCWJ,CHJはUniDicの品詞体系にもとづく

形態論情報を使った検索

例

（参考）Web茶まめ

http://chamame.ninjal.ac.jp/

2017/04/20

「中納言」オンライン利用申込み

https://chunagon.ninjal.ac.jp/useraccount/register

コーパスの設計とサンプリング

（スライド参照）　第2回コーパスの設計とサンプリング

均衡コーパス（Balanced corpus）
- 「バランスがとれている」「代表性」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
著作権をめぐる問題

参考リンク

英語のコーパスリファレンス
- ブラウンコーパスマニュアル http://www.hit.uib.no/icame/brown/bcm.html
- BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
現代日本語書き言葉均衡コーパス（BCCWJ）
- 現代日本語書き言葉均衡コーパス：概要
- 現代日本語書き言葉均衡コーパス：サンプリング

2017/04/13

「コーパス」について†

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
Web上のデータ
- 検索サイトの利用
- WAC（Web as Corpus）

この授業で扱うのは主に狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」が中心
日本語コーパス以前のデータとBCCWJの違いは
- cf. スライド

紙の資料からコーパスまで

(紙の)本文
(紙の)総索引（コンコーダンス）
電子テキスト
構造化テキスト
形態論情報付きコーパス

現代日本語書き言葉均衡コーパス（BCCWJ）とは

BCCWJについて、まず最小限のことを説明します。

BCCWJ少納言
- 登録不要
- 文字列検索のみ
- 500例まで表示
BCCWJ中納言
- 要登録
- 形態論情報を使った検索
- 全件（一度に最大10万例まで）ダウンロード可

「現代日本語書き言葉均衡コーパス（BCCWJ）」

BCCWJ少納言

「中納言」オンライン利用申込み

https://chunagon.ninjal.ac.jp/useraccount/register

2017/04/06

イントロダクション／日本語コーパスの紹介

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 http://www.ninjal.ac.jp/
コーパスとは
- 国立国語研究所コーパス開発センター

デモ
- 「現代日本語書き言葉均衡コーパス（BCCWJ）」
  - BCCWJ少納言
  - BCCWJ中納言
- Web茶まめ
- Excelによる集計（ピボットテーブル）

シラバス確認
- この授業の目的
- 授業の進め方
- 評価方法