推理缩放定律

英文:Inference Scaling Laws 分类:inference

基本释义

描述"推理质量随推理时投入计算增长"的经验规律:更多采样、更长思维链、更强验证器带来更高质量,是推理模型时代的"新摩尔定律"。

技术要点

内容:Best-of-N 收益随 N 对数增长;长思维链对难题收益显著(对小问题收益递减甚至负收益);验证器优于纯采样。与训练缩放定律并列,构成"算力投入的两个维度"。

应用场景

用于推理模型设计(决定思维链长度)、服务资源规划(按算力预算定质量)与评测(比较模型在等推理算力下的质量);是 o1/R1 系列背后的工程依据。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 思维预算 · 自我一致性