英文:Shared Expert 分类:architecture
MoE 中所有 Token 都会经过的固定专家(如 1-2 个),用于吸收公共知识、稳定路由并减少专家间知识冗余,与细粒度路由配合使用。
设计:共享专家小(维度低)但必选,其余专家按路由选择;缓解"公共知识被重复存到多个专家"的冗余,提升参数效率与训练稳定;代表:DeepSeek-V2/V3 的共享专家层。
用于新一代 MoE 大模型(DeepSeek 系)、高效稀疏训练与推理;共享+细粒度专家组合成为"高性价比稀疏"的行业范式。