英文:Test-Time Reinforcement Learning 分类:frontier
在推理阶段通过强化学习(尝试、评估、改进)提升回答质量的方法:模型生成多个候选、用验证器/反馈迭代优化,让"思考更久"直接转化为"答得更准"(测试时计算缩放)。
方法:最佳化采样(多候选+验证器选择)、自我修正(生成-评估-改进循环)、搜索(树搜索/Beam 推理);验证器:奖励模型、代码执行、形式验证;经典:AlphaZero 式推理、o1 类模型的隐式版本。
用于高难度推理(数学/代码竞赛题)、Agent 任务(多步决策优化)、关键决策(错误成本高)与研究;测试时强化学习是"推理时用算力换准确"的范式。