教师模型

英文:Teacher Model 分类:frontier

基本释义

知识蒸馏中被模仿的"强大模型":教师模型(通常更大更强)的输出/内部状态被用于训练学生模型,让学生以低成本获得接近教师的能力。

技术要点

蒸馏内容:软标签(输出概率分布)、中间表征(隐藏状态)、推理轨迹(CoT 序列);类型:黑盒(仅输出)/白盒(内部);选择:能力足够+领域匹配;风险:教师错误继承(幻觉传播);组合:多教师集成。

应用场景

用于小模型训练(R1 蒸馏系列)、领域模型(通用教师→垂直学生)、推理能力迁移与成本优化;教师模型是"能力传承"的源头。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 自我对弈 · 学生模型