英文:Cosine Annealing 分类:training
学习率沿余弦曲线从峰值平滑衰减到接近零的调度策略。相比线性衰减,余弦退火前期下降慢、后期下降快,训练更稳、效果更好。
实现:lr(t)=min+0.5*(peak-min)*(1+cos(πt/T));常配 warmup 先升后降;变体有重启式(warm restart)周期性回升探索。在 LLM 训练中配合大 batch 使用,收敛曲线平滑。
用于大模型预训练与微调(标配调度)、CV/LLM 迁移学习与长周期训练;是"训练稳定与最终精度"的经典平衡器。