测试时强化学习

英文:Test-Time Reinforcement Learning 分类:frontier

基本释义

在推理阶段通过强化学习(尝试、评估、改进)提升回答质量的方法:模型生成多个候选、用验证器/反馈迭代优化,让"思考更久"直接转化为"答得更准"(测试时计算缩放)。

技术要点

方法:最佳化采样(多候选+验证器选择)、自我修正(生成-评估-改进循环)、搜索(树搜索/Beam 推理);验证器:奖励模型、代码执行、形式验证;经典:AlphaZero 式推理、o1 类模型的隐式版本。

应用场景

用于高难度推理(数学/代码竞赛题)、Agent 任务(多步决策优化)、关键决策(错误成本高)与研究;测试时强化学习是"推理时用算力换准确"的范式。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 混合思考模型 · 奖励模型缩放