英文:White-Box Distillation 分类:frontier
可访问教师模型内部(权重、logits、隐藏状态)的蒸馏方法:对齐中间表征可获得比黑盒更强的迁移,适用于开源教师模型的深度蒸馏。
方法:logits 蒸馏(软标签)、表征对齐(隐藏层匹配:DistillBERT)、注意力/层输出迁移;优势:信息更丰富(内部特征)、训练更高效;代表:MiniLM、DistilBERT、TinyBERT;挑战:架构需兼容(层对齐)。
用于开源模型压缩(教师开源→学生小模型)、特定能力迁移(知识/推理)与高效小模型研发;白盒蒸馏是"深度模仿"的蒸馏方式。