安全过滤

英文：Safety Filtering　分类：alignment

基本释义

对模型输入与输出按安全规则进行过滤的机制，阻断有害内容（暴力、色情、仇恨、违法）的进入与流出，是安全体系的基础组件。

技术要点

技术：分类模型（有害类别识别）、关键词/正则、敏感词库、大模型审查器；位置：输入过滤（拦截恶意提示）、输出过滤（拦截有害生成）、流式实时过滤；指标：拦截率、误伤率、延迟开销。

应用场景

用于内容平台（UGC 审核）、LLM API（请求/响应过滤）、社交与游戏（聊天监管）与教育场景；安全过滤是"有害内容隔离"的第一道闸门。

返回AI百科目录 · AI最前沿首页

相关词条：对齐 · 宪法 AI · 红队测试 · 护栏策略 · 输入输出过滤