采样

英文:Sampling 分类:foundation

基本释义

生成文本时从模型输出的概率分布中选择 Token 的策略。直接取最高概率(贪心)会单调重复,采样则引入随机性,使输出多样自然。采样策略与温度是控制生成质量与创造力的关键旋钮。

技术要点

常用策略包括温度采样(缩放 logits 后再 Softmax)、Top-K(只从概率最高的 K 个中采样)、Top-P/nucleus(累积概率到 p 的集合内采样)以及二者的组合;束搜索则用于追求全局高分而非多样。采样参数需按场景调优:代码/数学偏低温,创意写作偏高。

发展脉络

从早期贪心与随机采样,到 2019 年 Top-P 提出、2021 年后 LLM 解码广泛采用温度+Top-P 组合,采样策略随生成式模型的应用深化持续精细化。

应用场景

对话生成、文章创作、代码生成与翻译解码;工程上采样参数(temperature、top_p、max_tokens)暴露在几乎所有 LLM API 中,是应用调优的首要参数。

返回AI百科目录 · AI最前沿首页

相关词条:Transformer · 注意力机制 · 自注意力 · 交叉熵 · 束搜索