全局批次大小

英文:Global Batch Size 分类:training

基本释义

一次参数更新(一个优化步骤)实际使用的总样本数 = 单卡批次大小 × 数据并行度 × 梯度累积步数:决定训练收敛曲线与吞吐,是大模型训练的核心超参数之一。

技术要点

计算:global_batch = micro_batch × DP × grad_accum;典型值:GPT 系 0.5M-4M token(LLaMA 4M token/步);影响:批次大→梯度稳(收敛稳、可加大 LR)、吞吐高但可能泛化下降(超大批次);缩放:与学习率联动(批次翻倍→LR 按规则缩放,如 LARS 线性);记录:日志须标注全局批次(复现关键)。

应用场景

用于大模型训练配置(预算分配:步数×批次=总 token)、吞吐-稳定性权衡(批次调优)、分布式训练复现(口径统一)与学习率缩放研究。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 流水线并行度 · 有效批次大小