过训练

英文:Overtraining 分类:training

基本释义

在超出计算最优训练量(compute-optimal,Chinchilla 定律)后继续训练的现象:边际收益递减甚至性能下降(训练 token 超过数据最优比例),需警惕"数据不够、重复训练"导致的过拟合与资源浪费。

技术要点

表现:loss 继续下降但评测指标停滞/下降(过拟合训练分布)、重复数据暴露(记忆而非泛化);判定:训练损失 vs 评测曲线、重复 epoch 数、Chinchilla 对齐度;对策:增加新数据(而非重复 epoch)、提前停止、降低学习率;相反:欠训练(under-trained,算力不足)也常见;工程:预算导向的按 token 训练。

应用场景

用于训练预算决策(token 分配)、数据-算力配比评估(Chinchilla 检查)、评测退化诊断(过训练定位)与大模型训练规划(避免浪费算力)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 验证损失 · 多任务训练