梯度范数

英文：Gradient Norm　分类：training

基本释义

梯度向量的 L2 范数，反映优化方向的更新幅度，是训练健康度的核心监控指标。异常梯度范数预示不稳定（尖峰或消失）。

技术要点

用法：监控随步数变化曲线（尖峰→风险预警）、作为裁剪目标值、用于自适应学习率（如 Adam 家族隐式归一化）；分布式训练中查看全局范数（各卡聚合）。

应用场景

用于训练监控看板（loss+梯度范数双指标）、故障定位（NaN/爆炸定位到层）与研究优化动力学；是"训练可观测性"的第一手指标。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 梯度裁剪 · 训练稳定性