激活重计算

英文：Activation Recomputation　分类：architecture

基本释义

训练中不保存中间激活、反向传播时重新计算的技术，用算力换显存，让更大模型与更大批次在有限显存上可训练。

技术要点

实现：前向时丢弃指定层激活，反向时重算（配合梯度检查点）；选择重计算粒度（逐层/分块）平衡显存节省与 30-50% 的额外计算；与张量并行、序列并行组合覆盖不同显存瓶颈。

应用场景

用于大模型预训练（万亿参数训练标配）、长序列训练与单卡受限场景；是"显存不够，算力来凑"的经典工程手段。

返回AI百科目录 · AI最前沿首页

相关词条：MoE 路由 · 多头注意力 · 分组查询注意力 · 序列并行 · 混合精度训练