英文：Reward Model 分类：training
RLHF 中预测人类偏好得分的模型：对人类标注的偏好数据（回答对排序）训练，为强化学习提供奖励信号，是"人类价值观"的数学化代理。
训练：偏好对（好/坏回答）→ Bradley-Terry 模型（输出分数差的对数几率）；架构：语言模型+得分头（常与策略模型同源）；数据：人类排序（数量数十万级）、AI 生成辅助；风险：奖励黑客（策略钻空子）、偏好偏差（标注者主观）；评测：与人类判断一致性。
用于 RLHF 流水线（ChatGPT/Claude 训练）、偏好评估（自动评分代替人工）、产品内容质量打分（排序/推荐）与对齐研究（奖励工程）。