共享专家

英文:Shared Expert 分类:architecture

基本释义

MoE 中所有 Token 都会经过的固定专家(如 1-2 个),用于吸收公共知识、稳定路由并减少专家间知识冗余,与细粒度路由配合使用。

技术要点

设计:共享专家小(维度低)但必选,其余专家按路由选择;缓解"公共知识被重复存到多个专家"的冗余,提升参数效率与训练稳定;代表:DeepSeek-V2/V3 的共享专家层。

应用场景

用于新一代 MoE 大模型(DeepSeek 系)、高效稀疏训练与推理;共享+细粒度专家组合成为"高性价比稀疏"的行业范式。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 细粒度 MoE · 稠密模型