英文:Safety Alignment 分类:foundation
通过训练与防护手段确保模型行为符合人类意图、价值观与安全规范的过程。对齐不仅追求能力,更要求模型拒绝有害请求、不输出虚假或危险内容,是生成式 AI 可信落地的关键工程与治理环节。
技术路线包括:基于人类反馈的强化学习(RLHF)、直接偏好优化(DPO)、红队测试(寻找对抗性输入)、安全微调(对有害样本的拒答训练)、系统级防护(输入/输出审核、提示注入防护)与可解释性监控。对齐目标常与能力提升存在张力,需要动态平衡。
2022 年 ChatGPT 将 RLHF 对齐带入大众视野,各国相继出台 AI 安全法规(欧盟 AI 法案等),2023-2025 年开源社区形成安全微调、红队评测与越狱防御的完整实践体系。
对话产品、企业知识助手、代码生成工具与内容平台的安全治理;工程上通过安全策略分层(模型层+系统层)、持续红队评测与应急响应保障合规与用户体验。
相关词条:Transformer · 注意力机制 · 自注意力 · 人类反馈 · Encoder-only