英文:Vision-Language Alignment 分类:multimodal
让图像与文本在共享语义空间中对齐的技术,使"图像与描述语义相近"在向量空间中成立,是多模态理解与检索的基石。
实现:对比学习(CLIP 双塔:图文配对拉近)、跨模态注意力(融合)、统一序列建模(图像 Token+文本 Token);评测:图文检索召回、零样本分类迁移。
用于图文检索(以文搜图/以图搜文)、多模态大模型初始化(CLIP 视觉塔)、推荐(图文多模态)与内容审核;图文对齐决定多模态模型的"语义一致"程度。