英文：Data Cleaning 分类：training
对原始训练数据做系统性处理（去噪、去重、去污染、格式统一、隐私过滤）的过程：数据质量直接决定模型上限，"垃圾进垃圾出"，清洗是大模型工程最耗时但回报最高的环节之一。
步骤：格式解析（HTML/PDF 提取）、语言识别与过滤、去重（精确/近似）、质量过滤（低质/重复/机器生成）、内容安全过滤（色情/暴力/隐私）、语料配比（领域均衡）；工具：语言模型评分（困惑度/分类器）、MinHash 去重、启发式规则；评估：清洗前后下游任务对比。
用于大模型预训练/微调数据管道、RAG 知识库构建（文档清洗）、数据分析（脏数据治理）与合规数据建设（隐私去除）。