张量并行度

英文：Tensor Parallel Size　分类：training

基本释义

张量并行中把单个 Transformer 层切分到多少张 GPU 上执行的配置（TP=8 表示每层由 8 卡协作计算）：决定通信开销与显存分摊，是 3D 并行（DP×TP×PP）组合调优的关键维度。

技术要点

原理：层内矩阵（QKV/FFN）按行/列切分，每卡持有分片，经 all-reduce/all-gather 同步结果；通信：每个算子需跨卡同步（节点内 NVLink 必需），TP 越大通信越密集（对带宽敏感）；显存：TP 越大单卡显存占用越低；取值：常见 1-8（受节点内 GPU 数限制）；组合：TP×PP×DP=总卡数（如 8×4×8=256）。

应用场景

用于大模型训练配置（GPT/LLaMA 千卡方案）、显存不足扩展（TP 分摊权重）、集群拓扑优化（节点内优先 TP）与训练吞吐调优（TP 大小实验）。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · FlashDecoding · 流水线并行度