因果注意力

英文:Causal Attention 分类:architecture

基本释义

限制每个位置只能关注自身及之前位置的注意力模式,保证自回归生成时"只看过去、不看未来"。它是 GPT 类语言模型的标准结构,也是 KV 缓存能复用的前提。

技术要点

实现:将注意力矩阵上三角置为负无穷(加掩码),Softmax 后权重为零;推理时通过 KV 缓存逐 Token 增量计算。因果性确保了生成概率的分解正确性(P(x)=∏P(x_i|x_<i))。

应用场景

用于自回归语言模型(LLM 生成)、续写与对话系统;是"生成式 AI"架构层面的基石设计,几乎所有生成模型都基于因果注意力。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 交叉注意力 · 稀疏注意力