英文:Kahneman-Tversky Optimization 分类:training
基于前景理论的对齐优化算法:只需二分类反馈(好/坏),无需成对偏好数据即可训练模型偏好。与 DPO 相比,数据更易获取,2024 年提出后快速流行。
原理:对"好"样本提高似然、对"坏"样本降低似然,并按 KL 约束与参考模型保持距离;处理方式对单样本逐条更新(非成对),支持隐式奖励建模。优点:数据门槛低、训练稳定;缺点:对数据噪声更敏感。
用于无偏好标注的对齐训练(点赞/踩数据)、商业对话模型(真实交互反馈)与低成本对齐实验;与 DPO、ORPO 并列为主流"无需 PPO"对齐方法。