混合专家路由

英文:MoE Routing 分类:training

基本释义

混合专家(MoE)模型中把每个 token 分配给哪些专家网络(Top-k 选择)的机制:路由决定计算分配,是 MoE 提升容量(参数增多)而不成比例增加算力的核心。

技术要点

机制:门控网络(router)对每个 token 输出专家得分→选 Top-k(如 Top-2)→加权组合专家输出;设计:负载均衡(防专家饥饿/过载,配合负载均衡损失)、细粒度专家(更多小专家)、共享专家(AlwaysOn);训练:路由稳定性(专家差异化)、通信(all-to-all);推理:显存(全部专家需驻留)但计算稀疏。

应用场景

用于超大模型架构(GPT-4/DeepSeek-MoE/Mixtral)、容量扩展(参数多算力省)、多领域专家化(领域专家分派)与推理成本优化(稀疏激活)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 有效批次大小 · 负载均衡损失