推理时计算

英文:Inference-Time Compute 分类:inference

基本释义

在推理阶段投入更多计算换取更高质量输出的策略:多次采样、验证、搜索与反思。它是"训练时算力"之外的第二个规模轴,催生了推理模型。

技术要点

形式:Best-of-N(采样+评分)、自我一致性投票、思维树搜索、验证器引导、长思维链;核心规律是推理缩放定律(质量随推理算力幂律提升)。代价是延迟与成本上升,需按任务分配"思维预算"。

应用场景

用于数学/代码/科学难题(需要深入思考)、高可靠场景(医疗、法律)与推理模型(o1/R1 类)的产品化;推理时计算让"答案质量"可动态购买。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 数据标注 · 长上下文