KTO

英文:Kahneman-Tversky Optimization 分类:training

基本释义

基于前景理论的对齐优化算法:只需二分类反馈(好/坏),无需成对偏好数据即可训练模型偏好。与 DPO 相比,数据更易获取,2024 年提出后快速流行。

技术要点

原理:对"好"样本提高似然、对"坏"样本降低似然,并按 KL 约束与参考模型保持距离;处理方式对单样本逐条更新(非成对),支持隐式奖励建模。优点:数据门槛低、训练稳定;缺点:对数据噪声更敏感。

应用场景

用于无偏好标注的对齐训练(点赞/踩数据)、商业对话模型(真实交互反馈)与低成本对齐实验;与 DPO、ORPO 并列为主流"无需 PPO"对齐方法。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · REINFORCE · 在线学习