英文:Causal Attention 分类:architecture
限制每个位置只能关注自身及之前位置的注意力模式,保证自回归生成时"只看过去、不看未来"。它是 GPT 类语言模型的标准结构,也是 KV 缓存能复用的前提。
实现:将注意力矩阵上三角置为负无穷(加掩码),Softmax 后权重为零;推理时通过 KV 缓存逐 Token 增量计算。因果性确保了生成概率的分解正确性(P(x)=∏P(x_i|x_<i))。
用于自回归语言模型(LLM 生成)、续写与对话系统;是"生成式 AI"架构层面的基石设计,几乎所有生成模型都基于因果注意力。