学习率

英文:Learning Rate 分类:training

基本释义

梯度下降中每次参数更新的步长(η):决定模型收敛速度与最终性能的关键超参数,过大导致发散/震荡,过小导致收敛缓慢,通常配合调度策略动态调整。

技术要点

设置:初始值(Transformer 常用 1e-4~3e-4)、调度(预热+余弦衰减/线性衰减)、按层设置(底层更小);问题:学习率过大(loss 发散)、过小(欠拟合);工具:学习率扫描(LR Finder)、自适应优化器(Adam 内部调整);影响:与批次大小协同(线性缩放规则)。

应用场景

用于所有模型训练(调参首要超参)、训练稳定调试(发散时先降 LR)、迁移微调(远小于预训练 LR)与研究学习动态(loss 曲线分析)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 梯度下降 · 过拟合