思维预算

英文:Thinking Budget 分类:inference

基本释义

模型在回答前允许投入的思考量(Token/步骤数),控制"多想 vs 快答"的权衡。预算越高,难题正确率越高但延迟成本越大。

技术要点

实现:系统提示限制思考步数、自适应预算(按问题难度)、流式可见思考过程;推理模型(o1、R1)支持"快速/深度"模式切换;工程上按任务类型与 SLA 动态分配。

应用场景

用于推理模型的成本控制(简单题快答、难题深思)、API 定价分层(不同预算档位)与延迟敏感产品(客服、搜索);思维预算是把推理算力"按需售卖"的旋钮。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 重复数据去重 · 推理缩放定律