质量过滤

英文:Quality Filtering 分类:training

基本释义

从海量语料中筛选高质量样本、剔除低质量内容(机器生成、重复冗余、拼写错误、无意义文本)的过程:质量过滤显著提升模型性能(同样数据量下效果更好),是数据工程的核心手段。

技术要点

方法:启发式规则(长度/符号/语言)、分类器(质量模型标注)、困惑度过滤(低质文本困惑度高)、LLM 评分(指令数据质量)、多信号融合;指标:语种占比、重复率、有毒内容率;效果:减少无效 token、提升样本效率(如 LLaMA 高质子集);权衡:过度过滤损失多样性。

应用场景

用于预训练语料精炼(数据配比优化)、指令数据筛选(SFT 质量门控)、企业知识库(只保留专业内容)与数据成本控制(算力用在刀刃上)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 去重 · 课程学习