梯度裁剪

英文：Gradient Clipping　分类：training

基本释义

将梯度范数限制在设定上限的技术，防止梯度爆炸导致的训练发散。大模型训练中的标准安全阀。

技术要点

实现：计算全局梯度范数，超上限则等比缩放（clip）；常用阈值 0.5-1.0；配合混合精度（NaN 防护）与检查点回滚；对不稳定阶段（如 RL 训练）尤其关键。

应用场景

用于 LLM 预训练/微调、RLHF 训练（策略梯度方差大）与多卡同步（统一裁剪）；梯度裁剪让"大学习率+不稳定数据"变得可控。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 余弦退火 · 梯度范数