英文:Warmup 分类:training
训练初期将学习率从极小值线性(或余弦)上升到目标值的阶段:避免大模型/大批次训练初期因梯度方差过大导致的震荡与发散,是大规模训练的标准做法。
机制:早期参数随机、梯度不稳定→小步长稳定;实现:线性预热(warmup_steps 内 0→η_max)、指数/余弦预热;步数:数百至数千步(按批次与模型规模);配合:预热后接余弦衰减(完整调度);理由:自适应优化器(Adam)动量未充分估计。
用于大模型预训练与微调(稳定起步)、大批次训练(B2T 缩放)、学习率调度设计(工程标配)与训练稳定性调试(发散时加预热)。