数据蒸馏

英文:Data Distillation 分类:frontier

基本释义

从大模型/大数据中提炼高价值小数据的流程:生成"浓缩"训练数据(如推理轨迹、高质量问答),让小模型用少量数据学到接近大模型的能力。

技术要点

方法:模型生成标注(指令蒸馏)、过滤筛选(高质量子集)、分布浓缩(代表性样本);案例:蒸馏推理数据训练小模型(R1 蒸馏到 7B)、数据集重写;质量保障:多样性+难度+真实性校验;风险:继承教师错误。

应用场景

用于小模型训练(能力蒸馏)、训练数据优化(高价值子集)、成本控制(小数据快训练)与领域数据构建;数据蒸馏是"数据提纯"的工艺。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 算法效率 · 快速思考模型