英文：3D Parallelism 分类：training
同时组合数据并行、张量并行与流水线并行的分布式训练策略：数据并行（复制模型分数据）、张量并行（单层内切分矩阵）、流水线并行（按层分段），三管齐下支撑超大模型千卡级训练。
维度：DP（每卡一份模型，梯度同步）、TP（Transformer 内 QKV/FFN 切分，通信密集）、PP（层分阶段，微批次流水）、组合：3D=DP×TP×PP（如 GPT-3 175B：8×8×4）；配套：ZeRO 优化、序列并行、通信重叠；权衡：TP 通信大（节点内）、PP 气泡（bubble）。
用于超大模型训练（GPT/LLaMA 系千卡训练）、算力集群调度（拓扑感知）、训练吞吐优化（组合配置调优）与分布式系统研究。