重复惩罚

英文：Repetition Penalty　分类：inference

基本释义

降低已出现 Token 再次被选中的概率的解码调节技术，用于抑制生成文本的重复循环，代价是轻微损害流畅度与多样性。

技术要点

实现：对已出现 Token 的 logits 施加惩罚系数（>1 抑制，如 1.1-1.3）、频次/存在惩罚（OpenAI 参数）、滑动窗口（只惩罚近期）；过度惩罚导致"绕词"与不自然。

应用场景

用于长文生成（新闻、故事防复读）、对话（防车轱辘话）与一切易重复的采样生成；是生成质量控制的基础旋钮。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 解码策略 · 对数几率