英文:Jailbreak Defense 分类:alignment
防御越狱攻击(通过精心构造的提示绕过模型安全对齐、诱导有害输出)的技术与评测体系,是安全对齐的对抗性课题。
攻击方式:角色扮演(DAN)、越狱编码(Base64/加密)、逻辑诡辩、多步诱导、LoRA/上下文越狱;防御:输入检测分类器、安全指令强化、对抗训练(红队数据)、输出审核兜底;评测:越狱成功率基准。
用于大模型安全评测(红队对抗)、生产服务(拦截越狱提示)、内容安全与高危场景(自伤/违法诱导);越狱防御是"对齐对抗"的前沿战场。