对数几率

英文:Logits 分类:inference

基本释义

模型输出的未归一化分数(对数概率原始值),经 Softmax 变为概率分布。所有解码策略(温度、Top-p、惩罚)都作用在 logits 上。

技术要点

特性:logits 差值反映相对置信;温度缩放(除 T)改变分布陡峭度;惩罚=直接加减 logits;数值上易出现极端值,采样前可加归一化。

应用场景

用于实现各类解码控制(temperature/top_p/penalty)、logits 处理(logit bias 强制/禁止词)与投机采样验证;logits 是生成系统的"底层原材料"。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 重复惩罚 · 采样分布