英文：Attention Mechanism 分类：foundation
让模型在处理序列中某个位置时，按相关性给其他所有位置分配不同权重的机制。它使任意两个词元之间的依赖可以被直接建模，不再受距离限制，是 Transformer 的核心运算，也是大模型能理解长文本的关键。
典型实现是缩放点积注意力：将查询 Q 与所有键 K 做点积得到相似度，除以维度平方根防止梯度消失，经 Softmax 归一化为权重后对值 V 加权求和。相比 RNN 的逐步传递，注意力提供了一条"直达路径"让信息在序列两端间流动，缓解长距离遗忘问题。其衍生形式包括多头注意力、因果注意力（只允许关注过去）与交叉注意力（连接编码器与解码器）。
Bahdanau 等人 2014 年首次将注意力用于神经机器翻译，解决 RNN 编码瓶颈；2017 年 Transformer 将注意力从辅助组件升级为主干；此后注意力成为序列建模的事实标准，并延伸出稀疏注意力、线性注意力等高效变体。
用于机器翻译、文本摘要、问答、语音识别与多模态对齐（如图文匹配）；在工业界，注意力权重还常用于可解释性分析，帮助定位模型重点关注哪些输入片段。
相关词条：Transformer · 自注意力 · Token · Transformer · 自注意力