英文:视觉语言模型(VLM) 分类:multimodal
能够同时理解视觉信息(图像、视频)与文本信息,并在两者之间进行推理的多模态大模型。视觉语言模型是"机器的眼睛+大脑"的结合:视觉编码器把图像转化为特征,语言模型负责理解与回答,使模型能够看图说话、图文互证,是自动驾驶、具身智能、文档智能、内容审核等众多 AI 应用的感知基座。
典型架构为"视觉编码器 + 模态对齐投影 + 大语言模型":视觉编码器(如 CLIP/ViT)提取图像特征,经 Q-Former 或线性投影等桥接模块映射到语言空间,再由大语言模型统一处理;训练上以图文对比学习(CLIP 式)预训练 + 指令微调(LLaVA 式)为主,并逐步引入视频帧序列与音视频联合理解。评估侧重图文检索、视觉问答(VQA)、图像描述、文档理解等能力维度。
2021 年 CLIP 建立图文对齐范式;2023 年 LLaVA 等开源 VLM 大幅拉低门槛,GPT-4V 与 Gemini 将商业多模态能力推向实用;2024 年后 VLM 成为智能体(Agent)的感知核心,并出现专攻长视频理解、屏幕操作理解等细分方向的模型;2025-2026 年端侧 VLM 随手机 NPU 普及走向本地化。
图像与视频问答、OCR 与文档智能、屏幕理解与自动化操作、具身智能感知、内容安全审核、无障碍辅助(看图说话)。