英文：Learning Rate Warmup 分类：training
训练初期将学习率从接近零逐步上升到目标值的策略：预热阶段参数尚不稳定，小步长可避免早期梯度方差导致的发散，随后按衰减计划降低，是大模型训练的工程标配。
实现：线性预热（最常见，0→η_max 分 warmup_steps 步）、指数/余弦预热；步数：数百至数千（与批次/模型规模相关，LLaMA 用 2000 步级）；原因：Adam 二阶矩估计未稳定、参数初始随机（梯度噪声大）；配合：预热后接余弦衰减（完整 U 型调度）；故障：无预热大模型易 loss spike。
用于大模型预训练/微调（必须的稳定手段）、大批次训练（更强依赖）、学习率调度设计（工程模板）与训练稳定性调试（发散时增加预热）。