泛化对齐

英文:Generalized Alignment 分类:alignment

基本释义

对齐效果从训练分布泛化到新情境的能力:模型在未见过的场景/任务/文化下仍保持安全与符合价值观,而非仅记住训练中的安全样例。

技术要点

挑战:分布外(新话题/新攻击)、环境变化(新工具/新能力)、目标漂移(能力增长后错位);方法:对抗训练(多样化红队)、原则性对齐(宪法 AI)、持续评估(新场景测试);评测:OOD 安全基准、新攻击成功率。

应用场景

用于模型迭代(能力增长与对齐赛跑)、新功能上线(新攻击面)、多文化部署与长期安全监控;泛化对齐是"对齐不退化"的长期课题。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 过度优化 · 弱到强泛化