語彙サイズ（Vocabulary Size）（ゴイサイズ）
語彙サイズはトークナイザが保持するユニークトークンの総数を指し、LLMの圧縮効率・多言語対応・メモリ消費に直結する重要なハイパーパラメータである。
語彙サイズ（Vocabulary Size）とは
語彙サイズは、LLMのトークナイザが保持するユニークなトークン（サブワード）の総数を指す。この値はモデル設計時に決定される重要なハイパーパラメータであり、テキスト圧縮効率、多言語対応能力、埋め込み層のメモリ消費量に直接影響する。GPT-4oは200,000、LLaMA 3は128,256、BERTは30,522、Gemma 2は256,000と、モデルの世代と用途によって大きく異なる。
語彙サイズが影響する要素
語彙サイズの選定は以下の要素にトレードオフとして影響する：
- 圧縮効率（fertility）: 語彙が大きいほど、1トークンが長い文字列に対応し、同じテキストをより少ないトークンで表現できる
- 埋め込み層パラメータ数: 語彙サイズ × 埋め込み次元がパラメータ数。200K × 4,096次元 = 約8億パラメータが埋め込み層だけで必要
- 多言語カバレッジ: CJK文字や稀少言語をカバーするには大きな語彙が必要
- 未知語（OOV）率: 語彙が小さいと頻出でないサブワードが細かく分割され、文脈理解が困難になる
- 推論速度: 語彙が大きいとsoftmax計算（語彙サイズ次元）のコストが増大
主要LLMの語彙サイズ推移
| モデル | リリース年 | 語彙サイズ | 対応言語数 | 埋め込み次元 | 埋め込みパラメータ |
|---|---|---|---|---|---|
| GPT-2 | 2019 | 50,257 | 英語中心 | 768 | 38.6M |
| BERT-base | 2018 | 30,522 | 英語 | 768 | 23.4M |
| T5-base | 2019 | 32,100 | 英語 | 768 | 24.7M |
| LLaMA 2 | 2023 | 32,000 | 英語中心 | 4,096 | 131M |
| Mistral 7B | 2023 | 32,768 | 英語中心 | 4,096 | 134M |
| LLaMA 3 | 2024 | 128,256 | 多言語 | 4,096 | 525M |
| GPT-4o | 2024 | 200,000 | 多言語 | 非公開 | 非公開 |
| Gemma 2 | 2024 | 256,000 | 多言語 | 3,584 | 917M |
| NLLB-200 | 2022 | 256,206 | 200言語 | 1,024 | 262M |
2019-2024年にかけて、語彙サイズは30K→256Kへと約8倍に拡大した。主因は多言語対応の強化と、コンテキスト長拡大による圧縮効率の重要性増加である。
語彙サイズと日本語の関係
日本語はひらがな（46字）、カタカナ（46字）、漢字（常用2,136字+）、英数字が混在するため、語彙サイズの影響を受けやすい：
| モデル | 語彙サイズ | 「東京都渋谷区」のトークン数 | 1文字あたりトークン数 |
|---|---|---|---|
| GPT-2 | 50,257 | 8-12 | 1.3-2.0 |
| GPT-4o | 200,000 | 3-5 | 0.5-0.8 |
| LLaMA 2 | 32,000 | 10-15 | 1.7-2.5 |
| LLaMA 3 | 128,256 | 4-6 | 0.7-1.0 |
| Gemma 2 | 256,000 | 2-4 | 0.3-0.7 |
大語彙モデル（GPT-4o、LLaMA 3、Gemma 2）は日本語の圧縮効率が大幅に改善されており、API料金やコンテキスト窓の利用効率が向上する。
語彙サイズの設計指針
新規モデル学習時の語彙サイズ選定ガイドライン：
- 英語特化・小規模モデル（< 1B）: 32,000-50,000。埋め込み層のオーバーヘッドを抑制
- 英語特化・大規模モデル（> 7B）: 50,000-100,000。十分な圧縮効率を確保
- 多言語モデル: 100,000-256,000。CJK文字+稀少言語のカバレッジ確保
- コード特化モデル: 50,000-100,000。プログラミング言語のキーワード・構文を効率化
- ドメイン特化（医療・法律等）: 基盤モデル語彙+ドメイン用語5,000-20,000を追加
よくある質問（FAQ）
Q1: 語彙サイズを後から変更できますか？ A: 技術的には可能だが、実質的にはモデル全体の再学習が必要。埋め込み層のパラメータが変わるため、既存の重みは使えない。語彙拡張（追加のみ）なら既存重みを保持して新トークンの埋め込みのみ学習する手法（vocabulary expansion）がある。
Q2: 語彙サイズが大きいモデルは必ず優れていますか？ A: 多言語対応や圧縮効率では有利だが、埋め込み層のメモリ増大、softmax計算コスト増加、学習データ不足による稀少トークンの品質低下というデメリットもある。タスクと制約に応じた適切なサイズ選定が重要。
Q3: 語彙サイズはAPIの料金にどう影響しますか？ A: 語彙サイズが大きいトークナイザは同じテキストをより少ないトークンで表現するため、トークン課金のAPIではコスト削減につながる。GPT-4oはGPT-3.5比で日本語テキストのトークン数が約30-40%削減されており、同内容の処理コストが下がっている。
まとめ
- 語彙サイズはトークナイザのユニークトークン総数で、30K-256Kの範囲が一般的
- 大語彙は圧縮効率・多言語対応に有利だが、メモリ消費が増大する
- 2019-2024年で主要LLMの語彙は30K→256Kへ約8倍に拡大
- 日本語は大語彙モデルで圧縮効率が大幅改善（GPT-4o: GPT-2比2-3倍効率化）
- 語彙サイズはAPI料金・コンテキスト窓利用効率に直結する重要パラメータ