图像块嵌入

英文:Patch Embedding 分类:architecture

基本释义

将图像切分为固定大小的块(Patch)并线性嵌入为 Token 序列的处理,是视觉 Transformer(ViT)的输入方式。它把"图像"转化为与文本 Token 同构的序列。

技术要点

实现:图像 H×W×C 切为 N 个 p×p 块,每个块展平后经线性投影得到 d 维向量,叠加位置编码(常加 CLS Token);块大小(如 16×16)决定序列长度与信息粒度,可配合卷积下采样提升效率。

应用场景

用于视觉 Transformer、多模态大模型(图像输入)、视频理解(时空块)与图像生成(潜在表示);是"Transformer 处理视觉"的基础接入层。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 相对位置编码 · ViT