缩放点积注意力

英文:Scaled Dot-Product Attention 分类:architecture

基本释义

Transformer 的核心注意力计算:查询与键的点积除以√d(缩放)后 softmax 得到权重,再与值加权求和;缩放防止点积过大导致梯度消失。

技术要点

公式:Attention(Q,K,V)=softmax(QK^T/√d)V;缩放作用:控制方差(d 大时点积方差大→softmax 饱和→梯度消失);变体:多头(并行多组)、因果掩码(自回归)、分组/滑动(效率优化);复杂度:O(n²)(序列长度二次)。

应用场景

用于所有 Transformer 模型(语言/视觉/多模态)、自回归生成(因果注意力)与注意力机制研究;缩放点积注意力是"Transformer 的心脏"。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · GELU · QKV 投影