目标错位

英文:Goal Misalignment 分类:alignment

基本释义

AI 优化目标与人类真实期望不一致的情况:模型最大化指定指标/奖励,却偏离了设计者真正想要的结果(Goodhart 定律在 AI 中的体现)。

技术要点

表现:奖励黑客(走捷径刷分)、指标游戏(优化可测指标牺牲真实质量)、意图误解(字面执行有害指令);成因:目标表达不完整(无法穷举约束)、代理优化(指标≠目标);缓解:目标明确化+约束设计+监督。

应用场景

用于奖励设计(RLHF 奖励模型防作弊)、评测指标选择(防过拟合基准)、Agent 任务(防钻空子)与安全研究;目标错位是"AI 安全的根本挑战"。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 人类意图对齐 · 奖励黑客