英文：Loss Function 分类：foundation
衡量模型预测与真实目标之间差距的函数，是训练优化的唯一信号来源。模型通过最小化损失（梯度下降）调整参数。不同任务选用不同损失：分类用交叉熵、回归用均方误差、生成用负对数似然。
损失函数需连续可微并与任务目标一致；分类任务常配合 Softmax 使用交叉熵，回归用 L2/L1，排序用 Pairwise/Listwise 损失，自监督预训练用预测下一词元或对比损失。训练中需关注损失的量纲、梯度尺度与数值稳定性，并防止"损失下降但指标不变"的错位。
从感知机误差、逻辑回归对数似然，到深度学习的 Softmax+交叉熵主流，再到大模型时代的 RLHF 奖励模型损失与 GRPO 策略损失，损失设计贯穿模型训练方法的每次演进。
是训练流水线的核心配置项：NLP 分类、推荐 CTR 预估、图像分割、语音识别与强化学习各有对应损失族；工程上通过权重配比与辅助损失（如蒸馏损失）平衡多目标训练。
相关词条：Transformer · 注意力机制 · 自注意力 · 激活函数 · 批次