黑盒蒸馏

英文:Black-Box Distillation 分类:frontier

基本释义

只访问教师模型输入输出(API 调用)、不接触内部结构的蒸馏方法:通过收集教师回答/推理轨迹训练学生模型,是最实用的蒸馏方式(对闭源模型有效)。

技术要点

流程:构造提示集→调教师 API 获取输出→清洗→训练学生(SFT);关键技术:提示多样性(覆盖分布)、输出选择(高质量子集)、推理轨迹收集(CoT 蒸馏);代表:DeepSeek R1 蒸馏到开源小模型;风险:成本与教师政策限制。

应用场景

用于从闭源大模型(GPT/Claude)蒸馏开源小模型、领域模型构建(教师出数据)、低成本复刻能力;黑盒蒸馏是"逆向学习的捷径"。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 学生模型 · 白盒蒸馏