英文:Fine-Grained MoE 分类:architecture
将专家切分为更小单元、每个 Token 激活更多小专家(如 Top-96/256)的 MoE 设计。细粒度路由提升专家专业化与组合表达能力,是 DeepSeek-V3 等新一代 MoE 的核心创新。
优势:更多激活组合(指数级路由多样性)、专家分工更细(专门模式)、训练更稳定;配合共享专家(公共知识)与分组调度(通信优化)实现"低激活成本、高表达能力"。
用于新一代开源 MoE(DeepSeek-V2/V3、Qwen-MoE)、大规模预训练与高效推理;细粒度+共享专家成为 2024 年后 MoE 的主流配方。