Frequency Penalty / Presence Penalty（フリクエンシーペナルティ）

Frequency Penalty / Presence Penalty とは

Frequency Penalty と Presence Penalty は、LLM のテキスト生成において同じトークンや表現の繰り返しを抑制するためのパラメータである。Temperature や Top-p がサンプリングの「ランダム性」を制御するのに対し、これらは「反復の抑制」に特化している。

動作原理の違い

Frequency Penalty（頻度ペナルティ）

生成済みテキスト中にトークンが出現した回数に比例してペナルティを課す。同じ単語を繰り返すほどペナルティが増大し、3回目の出現は2回目よりさらに強く抑制される。

• ペナルティ計算: logit -= frequency_penalty × token_count
• 値の範囲: -2.0 〜 2.0（OpenAI API）
• 正の値: 繰り返しを抑制
• 負の値: 繰り返しを促進（特殊用途）
• 0: ペナルティなし

Presence Penalty（存在ペナルティ）

トークンが生成済みテキスト中に1回でも出現したかどうかに基づいて一律のペナルティを課す。出現回数に関係なく、「使ったか使っていないか」の二値判定である。

• ペナルティ計算: logit -= presence_penalty × (1 if token_appeared else 0)
• 値の範囲: -2.0 〜 2.0（OpenAI API）
• 正の値: 新しいトピックへの展開を促す
• 0: ペナルティなし

比較表

ユースケース別の推奨設定

主要 API での対応状況

Anthropic Claude API は Frequency/Presence Penalty パラメータを提供していない。代わりに Temperature と Top-p の調整でテキストの多様性を制御するアプローチを採用している。

Repetition Penalty との関係

ローカル LLM ランタイム（llama.cpp、Ollama、LM Studio）では repeat_penalty というパラメータが使われることが多い。これは Frequency Penalty に近い概念だが、直近 N トークン（repeat_last_n）のウィンドウ内でのみ適用される点が異なる。

• repeat_penalty=1.0: ペナルティなし
• repeat_penalty=1.1: 軽い繰り返し抑制（多くのモデルのデフォルト）
• repeat_penalty=1.3: 強い繰り返し抑制

FAQ

Q1: Frequency Penalty と Presence Penalty は同時に使うべきですか？

A1: 併用可能で、OpenAI のドキュメントでも同時使用を想定している。一般的には両方を 0.0〜0.5 程度の控えめな値で設定し、出力を確認しながら調整する。

Q2: ペナルティを強くしすぎるとどうなりますか？

A2: 1.0 を超えると、一般的な接続詞や助詞までも抑制され、文法的に不自然な文章になる。特に日本語では助詞（は・が・の等）の繰り返しが必然的に多いため、高すぎるペナルティは文章を破壊する。

Q3: コード生成でペナルティを使ってもいいですか？

A3: 基本的には 0.0 を推奨する。コードでは変数名・関数名・キーワード（if, for, return 等）の繰り返しが正常な構造であり、ペナルティを課すと不正なコードが生成されるリスクがある。