英文:Prompt Safety 分类:alignment
围绕提示词环节的安全防护:防止提示注入(恶意指令劫持)、敏感信息泄露、有害指令利用,确保模型只按"合法指令"工作。
风险:直接/间接注入(外部内容携带指令)、系统提示泄露(套取隐藏规则)、角色劫持(诱导越权);防护:输入过滤与消毒、指令边界(区分指令与数据)、系统提示加固、权限最小化;评测:注入成功率。
用于 Agent 系统(工具调用防劫持)、RAG(文档内容注入防御)、公开提示场景(可被任意输入)与多租户服务;提示词安全是"LLM 应用安全"的核心议题。