梯度检查点

英文:Gradient Checkpointing 分类:architecture

基本释义

与激活重计算同义的技术名:通过丢弃并重算中间激活来降低训练显存占用,用额外计算换取可训练规模。

技术要点

实现:按检查点粒度保存部分激活(如每 N 层),反向时从最近检查点重算;PyTorch 原生支持(torch.utils.checkpoint)。权衡:显存可降数倍,训练时间增加约 20-40%。

应用场景

用于大模型微调与预训练(单卡/多卡显存优化)、长序列训练与成本受限环境;是 Hugging Face 训练大模型的默认配置之一。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 分布式训练 · PEFT