学生模型

英文：Student Model　分类：frontier

基本释义

知识蒸馏中接收教师模型知识的目标模型（通常更小、更快、更省）：通过模仿教师输出，以显著低于教师训练成本的方式获得接近的能力。

技术要点

训练：蒸馏损失（软标签 KL）、表征对齐（隐藏状态）、任务损失（真实标签）联合；特性：规模小（部署友好）、延迟低、可本地化；能力差距：复杂推理与长尾知识仍有折扣；应用：端侧、低成本 API。

应用场景

用于边缘部署（手机/嵌入式）、高并发低延迟服务、私有化（数据不出域）与成本控制；学生模型是"把大模型装进口袋"的产物。

返回AI百科目录 · AI最前沿首页

相关词条：模型自进化 · 合成数据 · 长度外推 · 教师模型 · 黑盒蒸馏