英文：Vision Encoder 分类：multimodal
把图像切成图块并编码为视觉特征序列的模块，通常基于 ViT 并使用 CLIP 或 SigLIP 预训练权重。它的分辨率与切块策略直接决定模型能否看清小字与细节。
多模态模型通常采用双塔结构：视觉编码器（ViT/CLIP）将图像编码为Patch Embedding，通过Projection Layer对齐到语言模型的Token空间，再与文本Token拼接输入Transformer。训练阶段需关注模态间对齐损失与数据配比。
从2012年AlexNet开始，视觉与语言长期分离发展；2021年CLIP首次实现大规模图文对齐，2023年GPT-4V与Gemini将多模态能力带入实用阶段。
应用场景包括：智能文档理解（OCR+表格解析）、图像搜索、视频内容分析、AI设计与创意生成。在医疗、教育等垂直领域，多模态能力显著提升了信息理解的完整度。