训练稳定性

英文：Training Stability　分类：training

基本释义

训练过程不出现发散、尖峰、NaN 等异常，损失平滑下降的性质。稳定性是千亿参数训练能否完成的决定性因素。

技术要点

保障手段：混合精度+主权重、梯度裁剪、warmup+平滑调度、初始化与残差缩放（如 1/√N）、数据顺序稳定、损失峰值监控与自动恢复（检查点回滚）；不稳定常由数据异常或超参敏感引发。

应用场景

用于大模型预训练（稳定优先于速度）、RL 训练（方差大）与多卡大规模集群；"能稳定跑到结束"本身就是工程能力的体现。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 梯度范数 · 损失尖峰