损失尖峰

英文：Loss Spike　分类：training

基本释义

训练中损失突然大幅上升的现象，通常伴随梯度异常，是训练不稳定的早期信号。严重时导致模型发散，需干预或回滚。

技术要点

成因：学习率过大、数据批次异常（噪声/重复）、精度下溢（FP16）、初始化脆弱、调度切换；处理：梯度裁剪、降学习率、跳过异常批次、回滚到最近检查点后调参；分布式场景需排查通信与数据分片。

应用场景

用于训练监控（尖峰自动告警）、大规模集群训练（避免整轮报废）与 RL 训练（奖励突变期）；损失尖峰处理是"训练运维"的日常核心。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 训练稳定性 · 数据配比