英文:Data Quality 分类:foundation
训练数据的正确性、完整性、一致性与多样性水平。高质量数据常比数据规模更能决定模型效果:错误、重复、低质样本会放大模型偏差与错误模式。
质量维度:事实准确(错误信息)、去重(重复污染)、多样性(覆盖面)、标注一致性(指令数据)、安全合规(有害内容)与时效性(知识截止)。工程上建立数据管道:清洗、去重、过滤、质量评分与持续迭代。
用于预训练语料治理、指令数据构建(SFT 数据质量直接决定对话质量)、RAG 知识库建设与行业模型定制;"垃圾进垃圾出"决定了数据工程是模型能力的根基。
相关词条:Transformer · 注意力机制 · 自注意力 · 领域泛化 · 预训练数据