英文：Distributed Training 分类：training
把模型训练扩展到多 GPU/多节点以加速或突破单机显存限制的技术体系：涵盖数据并行、模型并行（张量/流水线）、混合并行与通信优化，是百亿以上参数模型训练的必由之路。
策略：数据并行（最常见，梯度 AllReduce）、张量并行（层内切）、流水线并行（层间切）、ZeRO 分片（内存优化）；基础设施：NCCL（GPU 通信）、RDMA/InfiniBand、分布式框架（DeepSpeed/Megatron/FSDP）；关键：通信-计算重叠、负载均衡、故障恢复（检查点）；指标：吞吐（tokens/s）、扩展效率。
用于大模型训练（万卡集群）、多机多卡加速（训练时间缩短）、显存受限场景（分片/卸载）与 AI 云服务（按需分布式训练）。