提示词安全

英文:Prompt Safety 分类:alignment

基本释义

围绕提示词环节的安全防护:防止提示注入(恶意指令劫持)、敏感信息泄露、有害指令利用,确保模型只按"合法指令"工作。

技术要点

风险:直接/间接注入(外部内容携带指令)、系统提示泄露(套取隐藏规则)、角色劫持(诱导越权);防护:输入过滤与消毒、指令边界(区分指令与数据)、系统提示加固、权限最小化;评测:注入成功率。

应用场景

用于 Agent 系统(工具调用防劫持)、RAG(文档内容注入防御)、公开提示场景(可被任意输入)与多租户服务;提示词安全是"LLM 应用安全"的核心议题。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 关键词过滤 · 提示注入防御