英文:Decoding Strategy 分类:inference
决定模型如何从词表概率分布中逐 Token 生成文本的算法。解码策略控制生成的质量、多样性与速度,是生成系统的"方向盘"。
主要策略:贪心(确定性)、温度采样(多样性)、Top-k/Top-p(截断采样)、对比解码(质量)、束搜索(全局近似最优)与投机采样(加速);按任务选择:翻译用束搜索,创意用高温采样,推理用多数投票。
用于对话/创作(采样类)、翻译/摘要(束搜索)、代码/数学(低温+验证)与推理服务(加速解码);解码策略是"生成控制"的第一层。