英文:测试时计算(Test-Time Compute) 分类:inference
测试时计算(TTC)是指在模型部署后、回答用户问题的推理阶段额外消耗 GPU 算力来提升输出质量的技术路线。它与传统的"训练时扩大参数"并列为新的缩放轴(new scaling axis):推理时让模型多想一会儿、多采样几条、多搜几条路径,往往比单纯把模型做大更划算。o 系列、DeepSeek-R1 等推理模型的核心能力就来自测试时计算。
典型技术包括:①思维链/长推理链——让模型输出更长的中间推理过程;②采样与投票——对同一问题采样多条答案再选最优(Best-of-N、自一致性);③搜索与树搜索——用蒙特卡洛树搜索(MCTS)或过程奖励模型(PRM)引导推理路径;④递归自验证——模型自己检查并修正前面的结论;⑤测试时扩展token数——允许模型在推理阶段消耗更多 token。工程上 TTC 直接影响推理成本与延迟,需要在"多想一分钟"与"用户可接受等待时间"之间权衡。
2022-2023 年思维链(CoT)与自一致性方法初步证明"多想有益";2024 年 OpenAI o1 与 DeepSeek-R1 把测试时扩展训练成模型核心能力;2025-2026 年 TTC 成为推理模型标配,业界出现"按思考 token 计费"的新商业模式,并推动 KV Cache、投机解码等推理优化技术加速成熟。
数学证明与竞赛题、复杂代码调试、长文档分析与法律推理、科学发现与药物设计等高价值但允许秒级延迟的场景;产品形态上体现为"深度思考"开关、"联网搜索 + 长推理"按钮。