解码策略

英文:Decoding Strategy 分类:inference

基本释义

决定模型如何从词表概率分布中逐 Token 生成文本的算法。解码策略控制生成的质量、多样性与速度,是生成系统的"方向盘"。

技术要点

主要策略:贪心(确定性)、温度采样(多样性)、Top-k/Top-p(截断采样)、对比解码(质量)、束搜索(全局近似最优)与投机采样(加速);按任务选择:翻译用束搜索,创意用高温采样,推理用多数投票。

应用场景

用于对话/创作(采样类)、翻译/摘要(束搜索)、代码/数学(低温+验证)与推理服务(加速解码);解码策略是"生成控制"的第一层。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 前缀共享 · 重复惩罚