英文:Scaled Dot-Product Attention 分类:architecture
Transformer 的核心注意力计算:查询与键的点积除以√d(缩放)后 softmax 得到权重,再与值加权求和;缩放防止点积过大导致梯度消失。
公式:Attention(Q,K,V)=softmax(QK^T/√d)V;缩放作用:控制方差(d 大时点积方差大→softmax 饱和→梯度消失);变体:多头(并行多组)、因果掩码(自回归)、分组/滑动(效率优化);复杂度:O(n²)(序列长度二次)。
用于所有 Transformer 模型(语言/视觉/多模态)、自回归生成(因果注意力)与注意力机制研究;缩放点积注意力是"Transformer 的心脏"。