英文:Gradient Descent 分类:training
通过沿损失函数负梯度方向迭代更新参数来最小化损失的最优化算法:深度学习的"引擎",配合反向传播计算梯度,衍生出 SGD、Adam 等变体。
变体:批量梯度下降(全量,慢)、随机梯度下降 SGD(单样本,噪声大)、小批量(折中);改进:动量(加速)、自适应学习率(Adam/AdamW)、梯度裁剪(防爆炸);数学:参数更新 θ←θ−η∇L(θ);收敛:学习率调度、损失曲面(鞍点/局部极小)。
用于模型训练(所有深度模型)、机器学习优化(线性/逻辑回归闭式 vs 迭代)、超参数研究(学习率/动量)与强化学习策略优化。