采样分布

英文：Sampling Distribution　分类：inference

基本释义

模型对下一个 Token 的概率分布（Softmax 后的 logits），解码策略据此采样。分布形状（尖/平）决定生成的确定性与多样性。

技术要点

调节：温度（T>1 变平更随机，T<1 变尖更确定）、Top-k（只留前 k）、Top-p（只留累积概率 p）；分布质量受训练影响（校准性）。采样随机性来自温度>0。

应用场景

用于对话创意生成（高温）、代码翻译（低温）与多数投票（多次采样）；采样分布管理是"多样性与质量"平衡的核心。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 对数几率 · 吞吐量优化