毒性检测

英文：Toxicity Detection　分类：eval

基本释义

自动识别文本中的有害/攻击性内容（辱骂、仇恨言论、威胁等）的技术与评测，是内容安全与模型对齐的重要环节。

技术要点

技术：分类模型（Perspective API 类）、词典+规则、大模型判断（安全分类器）；评测：标注数据集（Civil Comments）、指标（准确率/误杀率）；挑战：隐式毒性（反讽/委婉）、上下文依赖。

应用场景

用于社交平台内容审核、大模型输出安全过滤（毒性分数阈值）、游戏聊天监管与客服质检；毒性检测是"内容生态安全"的过滤器。

返回AI百科目录 · AI最前沿首页

相关词条：大模型评审 · 聊天机器人竞技场 · 数据治理 · 偏见检测 · 事实性评估