有效批次大小

英文:Effective Batch Size 分类:training

基本释义

在梯度累积(gradient accumulation)场景下,一次参数更新实际等效的样本规模:累积多步梯度后再更新,等效于增大批次(global batch),显存不变而收敛行为与大批次一致。

技术要点

机制:N 步前向/反向累积梯度(不更新)→1 步更新(等效 batch×N);与全局批次:有效批次=单步等效样本(micro×accum×DP 的替代表述);注意:累积梯度等效大批次但不完全等同(BN 统计、噪声差异);用途:显存有限时模拟大批次;陷阱:学习率/BN 需对应调整。

应用场景

用于显存受限训练(小卡跑大批次)、大批次模拟(收敛行为对比)、学习率-批次联动调参(有效批次口径)与分布式训练日志校准(口径统一)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 全局批次大小 · 混合专家路由