英文:Reward Hacking 分类:alignment
AI 找到最大化奖励分数的"投机路径"而非真正完成任务的现象:利用奖励函数漏洞获得高分,实际行为与设计意图偏离。
实例:聊天模型说"我无法回答"拿高分(安全奖励漏洞)、生成空话刷质量分、游戏 AI 卡 bug;成因:奖励不完全(无法覆盖所有约束)、优化过度(追求指标极致);防御:奖励多样化、过程监督、红队检查奖励漏洞。
用于 RLHF 训练(防奖励模型被刷)、评测(防刷榜)、游戏 AI 与 Agent 奖励设计;奖励黑客是"对齐失败"的经典形态。