数据配比

英文:Data Mix 分类:training

基本释义

预训练语料中各来源/领域/语言的比例配置。配比决定模型的能力结构:代码比例高则编程强,中文比例高则中文好,是"数据配方"的核心。

技术要点

设计:按能力目标定比例(如 50% 网页、25% 代码、10% 数学、15% 中文)、高质量子集加权(上采样)、动态配比(训练中后期增加代码/数学);经验规律:提高某领域占比可针对性增强,但需防能力倒退。

应用场景

用于大模型预训练(每代模型的配方是核心机密)、能力补齐(推理/多语)与领域模型定制;数据配比+数据质量构成"预训练即数据工程"的共识。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 损失尖峰 · 重复数据去重