英文：Expert Parallelism 分类：architecture
将混合专家（MoE）模型的专家层分布在多设备上、按 Token 路由计算的并行策略。它把"参数量"与"计算量"解耦，实现千亿级参数的分布式训练推理。
实现：每个设备驻留部分专家，Token 经路由（all-to-all 通信）送到对应专家计算后再返回；配合负载均衡（容量因子）与分组调度（DeepSeek 的细粒度+共享专家）优化通信；训练中专家利用率与通信开销是关键权衡。
用于千亿参数 MoE 训练（Mixtral、DeepSeek-V3、Qwen-MoE）、推理服务（专家分布多机）与稀疏大模型部署；是大模型规模化的核心并行维度。