动量

英文:Momentum 分类:training

基本释义

梯度下降的加速技巧:累积历史梯度方向(速度),更新时沿速度与当前梯度的合成方向前进,抑制震荡、加速收敛,是 SGD 系列优化器的核心组件(也被 Adam 的一阶矩吸收)。

技术要点

机制:v=γv+ηg;θ←θ−v(γ 通常 0.9);效果:平坦/陡峭区域平滑加速、抑制损失曲面震荡;变体:Nesterov 动量(提前看未来梯度,加速更稳);配合:学习率调度(动量与 LR 需协调);意义:理解 Adam 的一阶矩(动量)来源;调参:γ 过大振荡、过小无效。

应用场景

用于 SGD 训练加速(CV 经典配置)、优化器理解与教学(动量机制)、Adam 类优化器调参(β1 即动量系数)与损失曲面导航(峡谷场景)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · AdamW · 学习率预热