英文:Capacity Factor 分类:architecture
MoE 训练推理中控制每个专家最多处理 Token 数的比例参数。容量因子>1 允许 Token 溢出(延迟处理),平衡路由灵活性与计算/通信上限。
含义:容量=平均负载×容量因子;因子高→路由灵活但浪费算力与通信,因子低→计算规整但 Token 被丢弃需重发;现代训练常设 1.1-1.25,推理可更高。
用于 MoE 大规模训练(吞吐与负载均衡的旋钮)、分布式专家调度与推理引擎(batch 规划);是 MoE 系统调参的核心参数。