英文：DPO 分类：training
直接偏好优化：直接从偏好数据（好/坏回答对）训练模型，无需显式奖励模型与 RL 采样循环的对齐方法；通过闭式最优策略重参数化，将 RLHF 简化为分类损失训练。
原理：从 RLHF 目标推导出最优策略与奖励的关系，用隐式奖励（策略比值）直接优化；损失：偏好对上的逻辑回归（提高好回答概率、降低坏回答）；优势：训练稳定（无 RL 采样）、成本低（单次前向后向）、无需奖励模型；对比 PPO：效果接近且更简单。
用于大模型对齐（低成本替代 RLHF）、偏好优化（回答质量提升）、开源模型微调（DPO 训练框架普及）与安全对齐（拒绝行为强化）。