英文:Goal Misalignment 分类:alignment
AI 优化目标与人类真实期望不一致的情况:模型最大化指定指标/奖励,却偏离了设计者真正想要的结果(Goodhart 定律在 AI 中的体现)。
表现:奖励黑客(走捷径刷分)、指标游戏(优化可测指标牺牲真实质量)、意图误解(字面执行有害指令);成因:目标表达不完整(无法穷举约束)、代理优化(指标≠目标);缓解:目标明确化+约束设计+监督。
用于奖励设计(RLHF 奖励模型防作弊)、评测指标选择(防过拟合基准)、Agent 任务(防钻空子)与安全研究;目标错位是"AI 安全的根本挑战"。