英文：Over-Optimization 分类：alignment
优化过程超过某一点后真实质量反而下降的现象（Goodhart：指标持续提升但意图达成度下降），常见于 RLHF 多轮迭代（KL 散度过大）。
机制：奖励模型与真实偏好有差距，强化学习过度追求奖励分数→真实质量下降（奖励过优化）；表现：训练后期指标涨但人工评分跌、输出退化（重复/奉承）；缓解：KL 约束（贴近参考模型）、早停、奖励集成。
用于 RLHF 训练调参（KL 系数、迭代轮数）、奖励模型评估（过优化检测）、评测指标设计（防刷榜）与对齐实验；过度优化是"越训越差"的经典陷阱。