英文：ZeRO 分类：training
零冗余优化器：将优化器状态、梯度、参数分片到多个 GPU 上（ZeRO-1/2/3），消除数据并行中的冗余内存，使超大模型（百亿-万亿参数）能在有限显存上训练，DeepSpeed 的核心技术。
分级：ZeRO-1（分片优化器状态）、ZeRO-2（+梯度分片）、ZeRO-3（+参数分片，全量分片）；配套：CPU offload（参数/梯度卸载到内存）、NVMe offload、通信优化（分桶 reduce-scatter/all-gather）；收益：显存近线性扩展、支持千卡训练；对比：张量并行（同层切分）。
用于大模型训练（DeepSpeed/Megatron 集成）、超大模型（万亿参数）、低成本集群（有限显存跑大模型）与分布式训练优化（吞吐提升）。