英文:Cross Attention 分类:architecture
查询来自一个序列、键值来自另一个序列的注意力机制,用于融合两个不同模态或上下文的特征。它是 Transformer 编码器-解码器结构与多模态模型的核心组件。
典型场景:机器翻译(解码器查询、编码器记忆)、图像条件生成(文本查询、图像特征)、多模态融合(文本查询、视觉键值);相比自注意力,交叉注意力允许"问一个、答另一个"。实现与自注意力共用算子,仅 Q/KV 来源不同。
用于翻译与摘要(编码-解码)、文生图(SD 的文本条件注入)、多模态模型(视觉-语言对齐)与检索增强(外部记忆注入);是跨模态信息路由的关键机制。