贪心解码

英文:Greedy Decoding 分类:inference

基本释义

每一步都选择概率最高的 Token 的解码方式。输出确定、实现简单、速度最快,但易陷入重复与局部最优,多样性差。

技术要点

特点:temperature=0 等价行为;长文本易重复(退化问题);常与重复惩罚、长度控制配合;对比束搜索无需维护多个候选,显存占用小。

应用场景

用于追求确定性输出的场景(代码、API 默认)、评测复现(固定结果)与低延迟需求;简单任务足够,复杂生成建议采样或搜索策略。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 束搜索 · 少样本提示