梯度下降

英文:Gradient Descent 分类:training

基本释义

通过沿损失函数负梯度方向迭代更新参数来最小化损失的最优化算法:深度学习的"引擎",配合反向传播计算梯度,衍生出 SGD、Adam 等变体。

技术要点

变体:批量梯度下降(全量,慢)、随机梯度下降 SGD(单样本,噪声大)、小批量(折中);改进:动量(加速)、自适应学习率(Adam/AdamW)、梯度裁剪(防爆炸);数学:参数更新 θ←θ−η∇L(θ);收敛:学习率调度、损失曲面(鞍点/局部极小)。

应用场景

用于模型训练(所有深度模型)、机器学习优化(线性/逻辑回归闭式 vs 迭代)、超参数研究(学习率/动量)与强化学习策略优化。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 反向传播 · 学习率