英文：Knowledge Distillation 分类：training
将大模型（教师）的知识迁移到小模型（学生）的技术：用小模型学习大模型的输出分布（软标签/概率），实现"能力压缩"，让小模型以更低成本接近大模型效果。
方式：软标签蒸馏（教师输出分布）、特征蒸馏（中间层）、自蒸馏（同架构师生）；关键：温度参数（软化分布）、损失组合（蒸馏损失+真实标签损失）；变体：MiniLLM（逆向）、序列级蒸馏（生成任务）；收益：推理成本大幅下降、部署友好。
用于模型压缩（大→小部署）、推理加速（边缘/端侧）、模型集成（多教师蒸馏）与私有化小模型（保持大模型能力）。