跨模态注意力

英文:Cross-Modal Attention 分类:multimodal

基本释义

让不同模态的特征互相注意的机制:如文本 Token 关注图像区域、音频关注文本。它是多模态融合的核心计算模式。

技术要点

形式:文本-图像交叉注意力(解码器查询视觉)、模态内+模态间联合注意力(Unified Transformer)、交替注意力层;与单模态注意力共用算子,仅改变 Q/KV 来源;支持细粒度对齐(词↔区域)。

应用场景

用于多模态大模型(视觉-语言融合)、图文生成(条件注入)、音视频对齐与多模态检索;跨模态注意力是"让模态互相对话"的桥梁。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 图文对齐 · 统一多模态