英文：Pretraining Data 分类：foundation
用于预训练基础模型的原始语料集合，包括网页、书籍、代码、论文与多模态数据。预训练数据的规模、构成与清洗方式塑造模型的知识、语言能力与偏见。
工程要点：数据收集（多源）、清洗（去重、去噪、安全过滤）、配比（不同来源比例影响能力结构）、质量分层（高质子集）与版权合规；研究显示数据质量与多样性对下游性能影响显著，数据配比可针对性增强能力（如代码、数学）。
用于 LLM 与多模态模型预训练、领域模型（法律/医疗）数据建设与开源数据集设计；数据配方（recipe）已成为模型公司的核心资产与竞争力。
相关词条：Transformer · 注意力机制 · 自注意力 · 数据质量 · 语料规模