英文：Human Feedback 分类：foundation
以人类评价或偏好作为信号优化模型的方法，是 RLHF（基于人类反馈的强化学习）的基础。人类标注员比较模型输出、打分或修正内容，形成奖励信号引导模型对齐人类偏好，是 ChatGPT 类模型行为质量的关键来源。
流程包括：收集人类偏好数据（对比排序、打分）、训练奖励模型（Reward Model）拟合偏好、用强化学习（PPO）或直接偏好优化（DPO）更新策略。数据质量与标注一致性直接影响对齐效果；还需防范奖励黑客与过度迎合。
2017 年 InstructGPT 首倡 RLHF，2022 年 ChatGPT 验证其规模化效果，2023 年后 DPO、KTO 等简化方法普及，2024-2025 年 RLHF/RL 扩展至推理模型（R1、o 系列）的思维链优化。
大模型后训练的标准环节（对话、写作、安全）；工业界通过众包标注平台、红队测试与自动反馈（规则/模型评判）构建规模化人类反馈流水线。
相关词条：Transformer · 注意力机制 · 自注意力 · 零样本提示 · 安全对齐