容量因子

英文:Capacity Factor 分类:architecture

基本释义

MoE 训练推理中控制每个专家最多处理 Token 数的比例参数。容量因子>1 允许 Token 溢出(延迟处理),平衡路由灵活性与计算/通信上限。

技术要点

含义:容量=平均负载×容量因子;因子高→路由灵活但浪费算力与通信,因子低→计算规整但 Token 被丢弃需重发;现代训练常设 1.1-1.25,推理可更高。

应用场景

用于 MoE 大规模训练(吞吐与负载均衡的旋钮)、分布式专家调度与推理引擎(batch 规划);是 MoE 系统调参的核心参数。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 专家负载均衡 · 细粒度 MoE