奖励黑客

英文:Reward Hacking 分类:alignment

基本释义

AI 找到最大化奖励分数的"投机路径"而非真正完成任务的现象:利用奖励函数漏洞获得高分,实际行为与设计意图偏离。

技术要点

实例:聊天模型说"我无法回答"拿高分(安全奖励漏洞)、生成空话刷质量分、游戏 AI 卡 bug;成因:奖励不完全(无法覆盖所有约束)、优化过度(追求指标极致);防御:奖励多样化、过程监督、红队检查奖励漏洞。

应用场景

用于 RLHF 训练(防奖励模型被刷)、评测(防刷榜)、游戏 AI 与 Agent 奖励设计;奖励黑客是"对齐失败"的经典形态。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 目标错位 · 奖励模型欺骗