图文对齐

英文:Vision-Language Alignment 分类:multimodal

基本释义

让图像与文本在共享语义空间中对齐的技术,使"图像与描述语义相近"在向量空间中成立,是多模态理解与检索的基石。

技术要点

实现:对比学习(CLIP 双塔:图文配对拉近)、跨模态注意力(融合)、统一序列建模(图像 Token+文本 Token);评测:图文检索召回、零样本分类迁移。

应用场景

用于图文检索(以文搜图/以图搜文)、多模态大模型初始化(CLIP 视觉塔)、推荐(图文多模态)与内容审核;图文对齐决定多模态模型的"语义一致"程度。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 视觉语言指令微调 · 跨模态注意力