训练损失

英文:Training Loss 分类:training

基本释义

模型在训练集上计算的损失值(交叉熵等):训练过程中持续下降反映模型在"背"训练数据的进展,是监控训练是否正常运行(下降、发散、平台)的首要信号。

技术要点

监控:每 N 步记录、滑动平均(去噪声)、与基准(上次运行)对比;异常:发散(loss spike/NaN,需降 LR 或回滚)、平台期(调度触发)、上升(数据问题);解读:训练损失低≠泛化好(需配验证损失);大模型:通常降至 2-3(交叉熵/token)后进入微调;工具:TensorBoard/W&B 曲线。

应用场景

用于训练过程监控(发散早发现)、超参调试(LR 扫描看曲线)、检查点决策(loss 平台期保存)与训练复现对比(loss 曲线对齐)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 负载均衡损失 · 验证损失