英文:MoE Routing 分类:architecture
混合专家模型中决定每个 Token 由哪些专家处理的门控机制。路由的质量决定专家利用率、负载均衡与整体效果,是 MoE 设计的核心。
实现:Router 网络对 Token 打分,选 Top-K 专家(如 K=8/16 的激活专家);配合负载均衡损失(专家使用均匀)、专家容量(容量因子)与 Noisy Top-K(训练期噪声增强探索);路由可基于 Token 语义或层级(细粒度路由)。
用于 MoE 大模型(Mixtral、DeepSeek、Qwen-MoE)的训练与推理、条件计算与"参数多、算力省"的高效架构;路由策略决定稀疏模型的性价比。