梯度累积

英文：Gradient Accumulation　分类：training

基本释义

把多个小批次的梯度累加后再更新一次参数的技术，等效于扩大训练批次，绕过单卡显存限制。

技术要点

实现：循环若干步只反向不更新，累加梯度/优化器状态按累计梯度步进；注意需按累积步数缩放学习率与 loss 归一化，BatchNorm 类模块需调整（LLM 无此问题）。

应用场景

用于大模型微调（单卡跑大 batch）、长序列训练与低显存环境；是大模型训练中"等效大 batch"的标配手段，与混合精度、梯度检查点配合使用。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 预热 · ZeRO