英文:Quality Filtering 分类:training
从海量语料中筛选高质量样本、剔除低质量内容(机器生成、重复冗余、拼写错误、无意义文本)的过程:质量过滤显著提升模型性能(同样数据量下效果更好),是数据工程的核心手段。
方法:启发式规则(长度/符号/语言)、分类器(质量模型标注)、困惑度过滤(低质文本困惑度高)、LLM 评分(指令数据质量)、多信号融合;指标:语种占比、重复率、有毒内容率;效果:减少无效 token、提升样本效率(如 LLaMA 高质子集);权衡:过度过滤损失多样性。
用于预训练语料精炼(数据配比优化)、指令数据筛选(SFT 质量门控)、企业知识库(只保留专业内容)与数据成本控制(算力用在刀刃上)。