英文：Deduplication 分类：training
从训练语料中移除重复或近似重复样本的过程：重复数据会放大某些内容的影响（降低多样性、引入偏差、浪费算力），是大模型数据管道（如 LLaMA/RefinedWeb）的标准环节。
方法：精确去重（哈希/行号）、近似去重（MinHash+LSH：n-gram 特征）、跨文档重复（段落级）；粒度：全文/段落/行；效果：减少训练量、提升多样性、防止测试集污染（语料泄漏）；工具：datasketch、句子向量聚类；评估：重复率监控（n-gram 覆盖）。
用于预训练语料构建（万亿 token 级别）、RAG 索引清洗（重复文档干扰检索）、数据集版本管理与评测防泄漏（测试集去重）。