Temperature（LLM）（テンパラチャーエルエルエム）

Temperature（LLM）とは

Temperature（温度）は、大規模言語モデル（LLM）のテキスト生成において次トークンの確率分布を調整するためのスケーリングパラメータである。ほぼすべてのLLM推論フレームワーク（OpenAI API・Anthropic API・Ollama・vLLM等）がtemperatureパラメータとして公開しており、ユーザーが最も直接的に操作できるデコーディング制御の基本要素。

数学的定義

LLMは各ステップで語彙全体（数万〜数十万トークン）にわたるロジット（logit）を出力する。通常これをsoftmaxで確率に変換するが、Temperatureはsoftmax前にロジットを除算する：

P(token_i) = exp(logit_i / T) / Σ exp(logit_j / T)

ここでTがTemperatureパラメータ。

Temperatureの効果

T → 0（低温）:

• 確率分布が尖る（最高確率トークンに集中）
• T=0に近づくとGreedy Decoding（最高確率トークンを確定的に選択）に相当
• 一貫性・正確性・再現性が高い
• 創造性・多様性が低い
• 用途: ファクト回答・コード生成・数学問題

T = 1.0（基準）:

• モデルが訓練で学んだ素の確率分布
• バランスの取れた多様性

T > 1.0（高温）:

• 確率分布が均一化（低確率トークンも選ばれやすくなる）
• 多様性・創造性が高い
• 一貫性・品質が低下（意味不明なテキストが生成されやすい）
• 用途: ブレインストーミング・詩・創作

実用的な推奨値

コード生成: 0.0〜0.2、要約・翻訳: 0.3〜0.5、一般Q&A: 0.5〜0.7、創作・ストーリー: 0.7〜1.0、ブレインストーミング: 1.0〜1.3。

Top-p（Nucleus Sampling）との組み合わせ

Temperatureは単独で使うこともあるが、Top-p（確率累積しきい値）と組み合わせるのが一般的。TemperatureでロジットをスケーリングしてからTop-pでトークン候補をフィルタリングする。Anthropicの推奨は「temperatureかtop_pのどちらかを変更し、両方同時は変えない」。

注意点

• APIによりtemperatureのスケールが異なる場合がある（0〜2 vs 0〜1）
• 同じtemperatureでもモデルによって出力の多様性は異なる
• 推論時の再現性が必要な場合はseedパラメータも設定する（OpenAI API対応）
• 低temperatureは決して「より賢い」わけではなく「より保守的」を意味する