安全护栏

英文:Safety Guardrails 分类:alignment

基本释义

部署时对模型行为进行约束的机制总称:输入过滤、输出审核、话题边界、拒绝策略,确保模型始终在安全边界内运行。

技术要点

层次:输入端(提示注入检测、敏感话题拦截)、输出端(有害内容分类、毒性过滤、事实核验)、行为端(拒绝模板、角色边界);实现:规则+分类器+大模型审查;评估:拦截率、误伤率(正常请求被拦)。

应用场景

用于生产环境 LLM 服务(API 安全)、客服机器人(合规话术)、教育/儿童应用与多租户平台;安全护栏是"模型上线安全"的运行期保障。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 安全训练 · 护栏策略