结果监督

英文:Outcome Supervision 分类:inference

基本释义

只对最终答案的正确性给予奖励或验证的训练/推理方式。实现简单、信号明确,是 RL 训练(RLVR 可验证奖励)的基础,但奖励稀疏、难以定位中间错误。

技术要点

特点:最终答案对→奖励 1,错→0(可验证任务);训练策略梯度奖励稀疏需大量采样;推理时做 Best-of-N 选择。与过程监督互补:结果监督粗但便宜,过程监督细但昂贵。

应用场景

用于数学/代码 RL 训练(DeepSeek-R1、o 系列的可验证奖励)、选择题评测与 Best-of-N 采样;是可验证推理任务的标准奖励来源。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 过程监督 · 长思维链