重复数据去重

英文：Deduplication　分类：training

基本释义

从训练语料中移除完全重复或近似重复样本的技术，防止模型过拟合重复文本、浪费算力并损害多样性。

技术要点

实现：精确去重（哈希/行级）、近似去重（MinHash/LSH 相似度阈值）、跨数据集去重（训练与评测集隔离防泄漏）；重复率影响学习效率与记忆（可能"背下"测试集）。

应用场景

用于预训练语料治理（Common Crawl 级清洗）、指令数据去重（SFT 多样性）与评测可信度保障；去重是数据管道的第一步，投入产出比极高。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 数据配比 · 思维预算