英文：Self-Attention 分类：foundation
注意力机制的一种特殊形式：序列中的每个位置同时充当查询、键和值，从而在同一序列内部建立全局依赖关系。它让模型能够根据上下文动态理解每个词的含义，例如区分"银行"在"去银行取钱"与"河岸银行"中的不同语义。
实现上不引入外部信息源，所有 Q、K、V 都由同一序列的嵌入经线性投影得到。为了保持位置信息，需叠加位置编码；为限制信息流向，解码器使用带掩码的因果自注意力，保证每个位置只能看到其之前的词元。多头自注意力允许不同头分别关注语法、指代、句法等不同模式。
2017 年随 Transformer 提出后，自注意力取代循环结构成为序列建模主流；后续变体（如 Linformer、Longformer、BigBird）致力于降低其 O(n²) 的复杂度，使其能处理更长序列。
是 GPT 系列等自回归语言模型每一层的核心运算，也广泛用于文本分类、情感分析、语义相似度与代码理解等任务；在工业部署中，自注意力计算与 KV 缓存管理直接决定推理吞吐与显存占用。
相关词条：Transformer · 注意力机制 · Token · 注意力机制 · Token