繰り返しペナルティ（LLM）とは？（クリカエシペナルティエルエルエム）意味・特徴をわかりやすく解説

繰り返しペナルティ（LLM）（クリカエシペナルティエルエルエム）

LLMが同じトークンや表現を繰り返し生成するのを抑制するデコーディングパラメータ。過去に生成したトークンのロジットをスケーリングして再選択確率を下げる。presence penalty・frequency penaltyとも関連。

0 回閲覧

0 いいね

2026/6/6 更新

繰り返しペナルティ（LLM）とは

繰り返しペナルティ（Repetition Penalty）は、大規模言語モデル（LLM）がテキストを生成する際に、過去に出現したトークンが再び選ばれる確率を下げることで、同じ単語やフレーズが無限ループ状に繰り返される現象（repetition loop）を抑制するデコーディング手法の総称である。

過去の文脈に出現したトークンのロジットをペナルティ係数rで除算：

if logit > 0:
    logit = logit / r
else:
    logit = logit * r

llama.cppでは--repeat-penalty 1.15で指定。

すでに一度以上出現したトークンに対して固定値を加算/減算するペナルティ。出現回数によらず一定値。

出現頻度に比例するペナルティ。同じトークンが出るたびにペナルティが累積。頻繁に使われたトークンほど強くペナルティを受ける。