英文:Patch Embedding 分类:architecture
将图像切分为固定大小的块(Patch)并线性嵌入为 Token 序列的处理,是视觉 Transformer(ViT)的输入方式。它把"图像"转化为与文本 Token 同构的序列。
实现:图像 H×W×C 切为 N 个 p×p 块,每个块展平后经线性投影得到 d 维向量,叠加位置编码(常加 CLS Token);块大小(如 16×16)决定序列长度与信息粒度,可配合卷积下采样提升效率。
用于视觉 Transformer、多模态大模型(图像输入)、视频理解(时空块)与图像生成(潜在表示);是"Transformer 处理视觉"的基础接入层。