次トークン予測目的関数（ツギトークンヨソクモクテキカンスウ）

次トークン予測目的関数とは

次トークン予測（Next Token Prediction）は、現代の大規模言語モデルの多くが採用する自己教師あり学習の目的関数。テキストの各位置において、それ以前のトークン列を条件として次のトークンを確率的に予測するクロスエントロピー損失を最小化することで、言語の統計的構造を学習する。

数学的定義

コーパス全体のテキストをx1, x2, ..., xTとすると、言語モデルは以下の条件付き確率を最大化（損失を最小化）する：

損失 L = -Σ log P(x_t | x_1, ..., x_{t-1}; θ)

ここで x_t は位置 t のトークン、x_1..x_{t-1} は先行するトークン列（コンテキスト）、θはモデルパラメータ。 これは自己回帰モデリング（Autoregressive Modeling）とも呼ばれる。

因果マスキング（Causal Masking）

TransformerのAttentionは本来すべてのトークンを相互参照できるが、次トークン予測では未来のトークンを参照してはならない。そのため上三角マスク（causal attention mask）を適用し、位置 t のトークンは位置 1〜t のみを参照できる制約を設ける。

パープレキシティ（Perplexity）

モデルの言語理解度の指標として、テストセットに対するパープレキシティ（PPL）が広く用いられる：

PPL = exp(L) = exp(-1/T × Σ log P(x_t | x_{<t}))

PPLが低いほど言語をよく予測できており、GPT-4クラスのモデルでは一般的なテキストで PPL < 5 程度を達成。

MLM（マスク言語モデリング）との比較

• CLM（次トークン予測）: GPT-4・LLaMA3・Gemma2、左→右単方向、生成能力○、スケール適性◎
• MLM（マスク予測）: BERT・RoBERTa・DeBERTa、双方向、理解能力○、大規模化に不向き

なぜ次トークン予測が主流になったか

1. ラベル不要: テキスト自体がラベルとなる自己教師あり学習のため、インターネット上の全テキストを無制限に活用可能
2. 生成との整合性: 学習目標とテキスト生成タスクが完全に一致するため、追加の学習なしに生成能力を獲得
3. スケーリング則との相性: パラメータ数・データ量・計算量のスケールアップに対して損失が予測可能に改善（Chinchilla則）
4. RLHF・DPOとの接続: 事後学習（Post-training）でRLHFやDPOを適用する際にも、CLMベースのモデルが前提

ロール別損失計算

チャット・インストラクションモデルでは、システムプロンプト・ユーザー発話・アシスタント発話を特殊トークンで区切り、アシスタント部分のトークンのみの損失を最小化するパターンが一般的。

自作PC・AI PC視点

ローカルLLMをGPU上で実行する際、モデルの推論は次トークン予測を繰り返す処理。VRAM容量が生成速度のボトルネックとなり、1回の推論につき「確率計算→サンプリング→次の入力」のループが回る。