对抗提示

英文：Adversarial Prompt　分类：alignment

基本释义

为攻击或测试而精心构造的提示词：绕过安全限制（越狱）、劫持行为（注入）、诱导错误或泄露信息，用于红队测试与防御加固。

技术要点

类型：越狱提示（角色/编码/诡辩）、注入提示（指令混入）、误导提示（诱导幻觉/偏见）；构造：自动化攻击生成（算法迭代）、人工红队、公开攻击库；用途：防御评测、模型鲁棒性研究。

应用场景

用于安全红队测试（上线前攻击演练）、防御模型训练（对抗样本）、评测基准（安全鲁棒性）与安全研究；对抗提示是"攻防演练"的攻击面样本。

返回AI百科目录 · AI最前沿首页

相关词条：对齐 · 宪法 AI · 红队测试 · 越狱防御 · 攻击面