英文：RLHF 分类：training
基于人类反馈的强化学习：先让人类对模型输出排序/打分训练奖励模型，再用强化学习（PPO 等）优化策略模型，使输出符合人类偏好（有用、无害、诚实），是 ChatGPT 对齐的核心技术。
三步：SFT（基础对齐）→奖励模型训练（人类偏好排序：Bradley-Terry）→RL 优化（PPO 最大化奖励+KL 约束防跑偏）；关键：奖励模型质量（偏好数据覆盖）、KL 惩罚（防奖励黑客）、多样性保持（防坍缩）；成本：训练多次推理（4 模型协同）。
用于对话模型对齐（ChatGPT/Claude 系）、安全与价值观对齐（拒绝有害请求）、产品个性化（风格偏好优化）与内容质量提升（写作/摘要更讨喜）。