英文:Cosine Decay 分类:training
学习率按余弦曲线从初始值平滑下降到接近零的调度策略:前期下降平缓(充分探索)、后期快速收敛(稳定细化),配合预热是大模型训练最常用的调度组合。
公式:η(t)=η_max·0.5(1+cos(π·t/T))(T 为总步数,可加最小 LR 截断);特性:无台阶突变(训练平滑)、末期接近零(收敛稳定);变体:带重启的余弦(周期循环)、WSD(预热-稳定-衰减);对比:线性衰减(更快但可能欠拟合)、阶梯(突变);实现:调度器内置(PyTorch)。
用于大模型训练(GPT/LLaMA 标准调度)、微调(短余弦)、训练收敛优化(末期细化)与调度策略对比实验(标准基线)。
相关词条:微调 · 监督微调 · 指令微调 · 学习率预热 · FlashDecoding