英文:Effective Batch Size 分类:training
在梯度累积(gradient accumulation)场景下,一次参数更新实际等效的样本规模:累积多步梯度后再更新,等效于增大批次(global batch),显存不变而收敛行为与大批次一致。
机制:N 步前向/反向累积梯度(不更新)→1 步更新(等效 batch×N);与全局批次:有效批次=单步等效样本(micro×accum×DP 的替代表述);注意:累积梯度等效大批次但不完全等同(BN 统计、噪声差异);用途:显存有限时模拟大批次;陷阱:学习率/BN 需对应调整。
用于显存受限训练(小卡跑大批次)、大批次模拟(收敛行为对比)、学习率-批次联动调参(有效批次口径)与分布式训练日志校准(口径统一)。