英文：Iterative Preference Optimization 分类：alignment
通过多轮"生成→偏好反馈→优化"循环持续改进模型的对齐方法，每轮用更优模型收集更高质量偏好数据，滚动提升对齐效果（如迭代 DPO）。
流程：当前模型生成候选→人类/奖励模型排序→偏好优化（DPO/RLHF）→新模型→重复；收益：数据质量随模型提升（self-improving）、规避奖励过度优化；代表：Zephyr、Llama 3 的迭代训练；注意：偏好噪声与奖励漂移。
用于助手模型的持续对齐迭代、RLAIF（AI 反馈迭代）、开源模型微调流程与偏好数据累积；迭代偏好优化是"越训越好"的滚动对齐范式。