对抗性评测

英文:Adversarial Evaluation 分类:eval

基本释义

用精心构造的对抗输入(恶意提示、边界样本、攻击样本)测试模型鲁棒性与安全性的评测,暴露正常评测覆盖不到的系统性弱点。

技术要点

类型:提示攻击(越狱/注入)、输入扰动(对抗噪声)、极端分布样本(OOD)、红队自动化(攻击模型迭代生成);目标:发现漏洞(越狱成功率)、量化风险边界;与红队测试结合。

应用场景

用于大模型安全评测(越狱防御)、内容审核鲁棒性、自动驾驶感知攻击测试与风控模型对抗;对抗性评测是"安全底线"的压力测试。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据治理 · 双重盲评 · 鲁棒性评测