英文：Cross Entropy 分类：foundation
衡量两个概率分布差异的损失函数，分类任务与语言模型的标准目标。它由信息论导出，对预测置信度敏感，梯度形式简洁，配合 Softmax 构成神经网络分类的黄金组合。
分类场景对预测分布与 one-hot 标签分布计算交叉熵；语言模型在每个 Token 位置计算预测概率与真实 Token 的交叉熵并取平均（perplexity 是其指数形式）。需配合标签平滑（缓解过度自信）与数值稳定实现（LogSoftmax 防溢出）。
从信息论熵概念到深度学习分类标准损失，交叉熵长期主导监督分类与自回归语言建模；大模型时代预训练目标仍是最大化 Token 对数似然（最小化交叉熵）。
文本分类、图像分类、语音识别与所有自回归语言模型预训练；工程上通过标签平滑、温度缩放与子词加权（平衡稀有 Token）优化交叉熵训练。
相关词条：Transformer · 注意力机制 · 自注意力 · 前馈网络 · 采样