AI・機械学習
上級
ティピカルデコーディング（ティピカルデコーディング）
LLMのテキスト生成において、情報量（エントロピー）の観点から「典型的」なトークンを選択するデコーディング手法。確率が高すぎるトークン（繰り返しリスク）も低すぎるトークン（乱雑リスク）も除外し、自然なテキスト分布に近い生成を目指す。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
デコーディング戦略
エントロピー
LLM推論
テキスト生成
ティピカル
ティピカルデコーディングとは
Typical Sampling（Typical Decoding）は2023年にClara Meister、Tiago Pimentel、Gian Wiher、Ryan CotterellらがETH Zurichで発表した論文「Locally Typical Sampling」で提唱された生成手法。情報理論的な「典型集合（typical set）」の概念をLLMデコーディングに応用した点が学術的な新規性。
情報理論的背景
情報量 I(t) = -log p(t|context)、エントロピー H = -sum p(t) log p(t)。 Typical条件: |I(t) - H| が小さいトークンtが「典型的」（エントロピーに近い情報量を持つトークン）。
選択プロセス
- 現在文脈のエントロピーH（確率分布から算出）
- 全トークンについて|I(t) - H|を計算
- この値が小さい順にソートし、累積確率がτ（タウ）を超えるまでのトークン集合を形成
- その集合からサンプリング
Top-pとの本質的違い
| 観点 | Nucleus (Top-p) | Typical Sampling |
|---|---|---|
| 選択基準 | 確率の高い順 | エントロピーからの距離の小さい順 |
| 高確率トークン | 優先選択 | 情報量が少なすぎると除外 |
| 繰り返し抑制 | 弱い | 強い（高確率すぎるトークンも除外） |
| 突飛さ抑制 | 強い | 強い（低確率も除外） |
パラメータτ（タウ）
- τ=0.1〜0.3: 高典型性、保守的な生成
- τ=0.5〜0.8: バランス型
- τ=0.9〜0.99: 広い典型集合、多様な生成
Hugging Face: generate(typical_p=0.9, do_sample=True)。llama.cpp: --typicalフラグ。