白盒蒸馏

英文:White-Box Distillation 分类:frontier

基本释义

可访问教师模型内部(权重、logits、隐藏状态)的蒸馏方法:对齐中间表征可获得比黑盒更强的迁移,适用于开源教师模型的深度蒸馏。

技术要点

方法:logits 蒸馏(软标签)、表征对齐(隐藏层匹配:DistillBERT)、注意力/层输出迁移;优势:信息更丰富(内部特征)、训练更高效;代表:MiniLM、DistilBERT、TinyBERT;挑战:架构需兼容(层对齐)。

应用场景

用于开源模型压缩(教师开源→学生小模型)、特定能力迁移(知识/推理)与高效小模型研发;白盒蒸馏是"深度模仿"的蒸馏方式。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 黑盒蒸馏 · 边缘模型