英文:Adam 分类:training
自适应矩估计优化器:为每个参数维护一阶矩(动量)与二阶矩(梯度平方均值),自适应调整每个参数的学习率,结合动量与 RMSProp 优点,是深度学习的默认优化器之一。
机制:m=β1·m+(1-β1)g;v=β2·v+(1-β2)g²;更新 θ←θ−η·m̂/(√v̂+ε)(带偏置校正);超参:β1=0.9、β2=0.999、ε=1e-8(常用默认);特性:自适应步长(平坦区大步、陡峭区小步)、对学习率不敏感(仍需调度);问题:泛化争议(有时弱于 SGD)、权重衰减耦合(→AdamW);用途:NLP/CV 通用。
用于深度学习训练(默认优化器)、NLP/CV 模型(Transformer 训练)、快速收敛场景(稀疏梯度/非平稳目标)与超参研究(对比 SGD/AdamW)。