余弦退火

英文:Cosine Annealing 分类:training

基本释义

学习率沿余弦曲线从峰值平滑衰减到接近零的调度策略。相比线性衰减,余弦退火前期下降慢、后期下降快,训练更稳、效果更好。

技术要点

实现:lr(t)=min+0.5*(peak-min)*(1+cos(πt/T));常配 warmup 先升后降;变体有重启式(warm restart)周期性回升探索。在 LLM 训练中配合大 batch 使用,收敛曲线平滑。

应用场景

用于大模型预训练与微调(标配调度)、CV/LLM 迁移学习与长周期训练;是"训练稳定与最终精度"的经典平衡器。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · warmup · 梯度裁剪