英文:Expert Load Balancing 分类:architecture
让 MoE 各专家接收的训练 Token 数量保持均衡的机制,防止少数"明星专家"过载、多数专家闲置。均衡是 MoE 稳定训练与高效算力的前提。
实现:负载均衡辅助损失(鼓励均匀路由)、容量限制(专家超载丢弃)、路由多样性约束(多样化 Top-K)与细粒度专家(更多专家分担);训练中监控专家利用率与通信负载,动态调整。
用于 MoE 预训练(DeepSeek、Mixtral 训练稳定性的关键)、推理负载分布与多机专家调度;不均衡会引发训练崩溃与推理热点。