英文：Pipeline Parallel Size 分类：training
流水线并行中把模型按层切分成多少阶段（PP=4 表示模型分成 4 段，各由一组 GPU 负责）：决定 GPU 间通信量（仅边界激活）与训练气泡比例，是 3D 并行组合的核心维度。
原理：层分组→阶段顺序执行→微批次流水（micro-batch 交错减少气泡）；开销：气泡（pipeline bubble，首尾阶段空闲）、边界通信（激活/梯度传递）；优化：1F1B 调度（均衡负载）、交错调度（减少气泡）；权衡：PP 大→通信少但气泡多；组合：PP 通常小于 TP（如 4-16）；显存：激活值分段存储。
用于超大模型训练（千卡以上必须）、跨节点训练（PP 通信可跨节点）、显存管理（激活分段）与训练吞吐调优（PP 大小与微批次）。