英文:Cross-Modal Attention 分类:multimodal
让不同模态的特征互相注意的机制:如文本 Token 关注图像区域、音频关注文本。它是多模态融合的核心计算模式。
形式:文本-图像交叉注意力(解码器查询视觉)、模态内+模态间联合注意力(Unified Transformer)、交替注意力层;与单模态注意力共用算子,仅改变 Q/KV 来源;支持细粒度对齐(词↔区域)。
用于多模态大模型(视觉-语言融合)、图文生成(条件注入)、音视频对齐与多模态检索;跨模态注意力是"让模态互相对话"的桥梁。