英文:Training Loss 分类:training
模型在训练集上计算的损失值(交叉熵等):训练过程中持续下降反映模型在"背"训练数据的进展,是监控训练是否正常运行(下降、发散、平台)的首要信号。
监控:每 N 步记录、滑动平均(去噪声)、与基准(上次运行)对比;异常:发散(loss spike/NaN,需降 LR 或回滚)、平台期(调度触发)、上升(数据问题);解读:训练损失低≠泛化好(需配验证损失);大模型:通常降至 2-3(交叉熵/token)后进入微调;工具:TensorBoard/W&B 曲线。
用于训练过程监控(发散早发现)、超参调试(LR 扫描看曲线)、检查点决策(loss 平台期保存)与训练复现对比(loss 曲线对齐)。