细粒度 MoE

英文:Fine-Grained MoE 分类:architecture

基本释义

将专家切分为更小单元、每个 Token 激活更多小专家(如 Top-96/256)的 MoE 设计。细粒度路由提升专家专业化与组合表达能力,是 DeepSeek-V3 等新一代 MoE 的核心创新。

技术要点

优势:更多激活组合(指数级路由多样性)、专家分工更细(专门模式)、训练更稳定;配合共享专家(公共知识)与分组调度(通信优化)实现"低激活成本、高表达能力"。

应用场景

用于新一代开源 MoE(DeepSeek-V2/V3、Qwen-MoE)、大规模预训练与高效推理;细粒度+共享专家成为 2024 年后 MoE 的主流配方。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 容量因子 · 共享专家