英文：Weight Decay 分类：training
在损失函数中加入权重的 L2 惩罚（或等效的每步按比例缩小权重）以限制参数规模的优化技巧：抑制过拟合、提升泛化，是 AdamW 训练大模型的关键正则化组件。
形式：L2 正则（损失+λ‖θ‖²）与解耦权重衰减（AdamW：更新时独立乘 (1-λ)）；取值：大模型常用 0.01-0.1（微调 0.01 常见）；作用：偏好小权重（平滑决策面）、抑制噪声特征；注意：不与 Adam 的 L2 混淆（AdamW 解耦更稳）；组合：与 Dropout、早停协同。
用于大模型预训练/微调（AdamW 标配）、正则化调参（防过拟合）、对比实验（L2 vs 解耦）与模型泛化研究。