学习率调度

英文：Learning Rate Schedule　分类：training

基本释义

在训练过程中按计划调整学习率的策略：前期预热（防止早期震荡）、后期衰减（帮助收敛到更优解），是大模型训练稳定与收敛的关键工程手段。

技术要点

常见策略：预热+余弦衰减（大模型标准，warmup 数百步后余弦降至近零）、线性衰减、阶梯衰减、周期（循环 LR）；依据：loss 曲线（平台期降 LR）；实现：调度器（PyTorch scheduler）+检查点（恢复调度状态）；组合：与 AdamW 解耦（参数组）。

应用场景

用于大模型训练（GPT/Llama 标准配置）、微调（短预热低峰值）、CV/NLP 常规训练（ResNet 阶梯衰减）与训练复现（调度是超参的一部分）。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · GGUF · 预热