英文:Data Mix 分类:training
预训练语料中各来源/领域/语言的比例配置。配比决定模型的能力结构:代码比例高则编程强,中文比例高则中文好,是"数据配方"的核心。
设计:按能力目标定比例(如 50% 网页、25% 代码、10% 数学、15% 中文)、高质量子集加权(上采样)、动态配比(训练中后期增加代码/数学);经验规律:提高某领域占比可针对性增强,但需防能力倒退。
用于大模型预训练(每代模型的配方是核心机密)、能力补齐(推理/多语)与领域模型定制;数据配比+数据质量构成"预训练即数据工程"的共识。