ViT

英文：Vision Transformer　分类：architecture

基本释义

将 Transformer 架构应用于图像的模型：把图像切成 Patch（如 16×16）展平为 Token 序列输入 Transformer，用 [CLS] 令牌分类；首个纯 Transformer 视觉模型（Google 2020），开启视觉基础模型时代。

技术要点

流程：Patch 化→线性投影→位置编码→Transformer 编码→[CLS] 分类；特性：长程依赖（全局注意力）、可扩展（数据规模法则）、与语言模型统一架构（多模态）；对比 CNN：需大数据预训练（JFT/ImageNet-21k）；变体：DeiT（蒸馏）、Swin（分层）。

应用场景

用于图像分类/检测/分割（预训练骨干）、CLIP 类多模态（视觉编码器）、视频理解与视觉基础模型；ViT 是"Transformer 征服视觉"的开端。

返回AI百科目录 · AI最前沿首页

相关词条：MoE 路由 · 多头注意力 · 分组查询注意力 · 图像块嵌入 · CLS Token