越狱防御

英文:Jailbreak Defense 分类:alignment

基本释义

防御越狱攻击(通过精心构造的提示绕过模型安全对齐、诱导有害输出)的技术与评测体系,是安全对齐的对抗性课题。

技术要点

攻击方式:角色扮演(DAN)、越狱编码(Base64/加密)、逻辑诡辩、多步诱导、LoRA/上下文越狱;防御:输入检测分类器、安全指令强化、对抗训练(红队数据)、输出审核兜底;评测:越狱成功率基准。

应用场景

用于大模型安全评测(红队对抗)、生产服务(拦截越狱提示)、内容安全与高危场景(自伤/违法诱导);越狱防御是"对齐对抗"的前沿战场。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 系统提示加固 · 对抗提示