预热

英文:Warmup 分类:training

基本释义

训练初期将学习率从极小值线性(或余弦)上升到目标值的阶段:避免大模型/大批次训练初期因梯度方差过大导致的震荡与发散,是大规模训练的标准做法。

技术要点

机制:早期参数随机、梯度不稳定→小步长稳定;实现:线性预热(warmup_steps 内 0→η_max)、指数/余弦预热;步数:数百至数千步(按批次与模型规模);配合:预热后接余弦衰减(完整调度);理由:自适应优化器(Adam)动量未充分估计。

应用场景

用于大模型预训练与微调(稳定起步)、大批次训练(B2T 缩放)、学习率调度设计(工程标配)与训练稳定性调试(发散时加预热)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 学习率调度 · 梯度累积