英文:Learning Rate 分类:training
梯度下降中每次参数更新的步长(η):决定模型收敛速度与最终性能的关键超参数,过大导致发散/震荡,过小导致收敛缓慢,通常配合调度策略动态调整。
设置:初始值(Transformer 常用 1e-4~3e-4)、调度(预热+余弦衰减/线性衰减)、按层设置(底层更小);问题:学习率过大(loss 发散)、过小(欠拟合);工具:学习率扫描(LR Finder)、自适应优化器(Adam 内部调整);影响:与批次大小协同(线性缩放规则)。
用于所有模型训练(调参首要超参)、训练稳定调试(发散时先降 LR)、迁移微调(远小于预训练 LR)与研究学习动态(loss 曲线分析)。