英文:Reward Model Scaling 分类:frontier
通过扩大奖励模型(RM)的规模与质量(数据、参数量、训练方法)提升其评判能力,从而让强化学习/推理训练的监督信号更准确,驱动模型能力增长。
路径:数据规模(更多偏好对)、参数量(更大 RM)、训练方法(过程奖励/合成偏好)、校验(与人类一致性);作用:RLHF 质量、推理验证(PRM 过程监督)、自我对弈裁判;挑战:奖励模型偏差(长度/风格偏好)。
用于对齐训练(RLHF/RLVR 信号)、推理模型训练(过程奖励)、评测自动化(AI 裁判)与强化学习研究;奖励模型缩放是"监督信号放大"的关键。