安全训练

英文：Safety Training　分类：alignment

基本释义

在训练阶段注入安全能力的对齐方法：用安全数据（拒绝样本、安全指令）微调模型，使其学会拒绝有害请求、保持无害输出。

技术要点

技术：安全指令微调（SFT 安全数据）、偏好对齐（安全偏好对）、红队数据混合、安全蒸馏；范围：内容安全（暴力/违法/仇恨）、越狱防御、隐私保护；权衡：过度安全（误拒正常请求）vs 不安全。

应用场景

用于大模型发布前的安全对齐、行业模型（医疗/金融）合规、儿童场景内容保护与越狱防御基线；安全训练是"模型上线安全"的第一道防线。

返回AI百科目录 · AI最前沿首页

相关词条：对齐 · 宪法 AI · 红队测试 · 偏好数据 · 安全护栏