英文:Overtraining 分类:training
在超出计算最优训练量(compute-optimal,Chinchilla 定律)后继续训练的现象:边际收益递减甚至性能下降(训练 token 超过数据最优比例),需警惕"数据不够、重复训练"导致的过拟合与资源浪费。
表现:loss 继续下降但评测指标停滞/下降(过拟合训练分布)、重复数据暴露(记忆而非泛化);判定:训练损失 vs 评测曲线、重复 epoch 数、Chinchilla 对齐度;对策:增加新数据(而非重复 epoch)、提前停止、降低学习率;相反:欠训练(under-trained,算力不足)也常见;工程:预算导向的按 token 训练。
用于训练预算决策(token 分配)、数据-算力配比评估(Chinchilla 检查)、评测退化诊断(过训练定位)与大模型训练规划(避免浪费算力)。