warmup

英文：Learning Rate Warmup　分类：training

基本释义

训练初期从很小的学习率逐步升至目标值的过程，避免起步阶段的大更新破坏随机初始化的模型。warmup 是大模型训练的稳定器。

技术要点

实现：线性/指数/余弦预热 N 步（如总步数的 0.1%-1%），随后接入衰减调度（余弦退火、恒定等）；原理：初期梯度噪声大，小学习率让优化方向稳定；LLM 训练几乎必用。

应用场景

用于大模型预训练与微调（所有主流训练框架默认）、稳定收敛与避免损失尖峰；warmup+余弦退火是行业标准调度组合。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · 在线学习 · 余弦退火