英文:Gradient Checkpointing 分类:architecture
与激活重计算同义的技术名:通过丢弃并重算中间激活来降低训练显存占用,用额外计算换取可训练规模。
实现:按检查点粒度保存部分激活(如每 N 层),反向时从最近检查点重算;PyTorch 原生支持(torch.utils.checkpoint)。权衡:显存可降数倍,训练时间增加约 20-40%。
用于大模型微调与预训练(单卡/多卡显存优化)、长序列训练与成本受限环境;是 Hugging Face 训练大模型的默认配置之一。