英文:Inference-Time Compute 分类:inference
在推理阶段投入更多计算换取更高质量输出的策略:多次采样、验证、搜索与反思。它是"训练时算力"之外的第二个规模轴,催生了推理模型。
形式:Best-of-N(采样+评分)、自我一致性投票、思维树搜索、验证器引导、长思维链;核心规律是推理缩放定律(质量随推理算力幂律提升)。代价是延迟与成本上升,需按任务分配"思维预算"。
用于数学/代码/科学难题(需要深入思考)、高可靠场景(医疗、法律)与推理模型(o1/R1 类)的产品化;推理时计算让"答案质量"可动态购买。