专家负载均衡

英文:Expert Load Balancing 分类:architecture

基本释义

让 MoE 各专家接收的训练 Token 数量保持均衡的机制,防止少数"明星专家"过载、多数专家闲置。均衡是 MoE 稳定训练与高效算力的前提。

技术要点

实现:负载均衡辅助损失(鼓励均匀路由)、容量限制(专家超载丢弃)、路由多样性约束(多样化 Top-K)与细粒度专家(更多专家分担);训练中监控专家利用率与通信负载,动态调整。

应用场景

用于 MoE 预训练(DeepSeek、Mixtral 训练稳定性的关键)、推理负载分布与多机专家调度;不均衡会引发训练崩溃与推理热点。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 量化感知训练 · 容量因子