CLS Token

英文：CLS Token　分类：architecture

基本释义

BERT/ViT 中在序列开头添加的特殊 Token，其输出向量被设计为整个序列的汇总表示，用于分类等整体性任务。

技术要点

机制：CLS 与所有位置交互（注意力汇聚全局信息），取最终层 CLS 向量接分类头；ViT 沿用此设计。现代大模型常用"序列平均池化"或特定位置向量替代，但 CLS 仍是经典可迁移表示。

应用场景

用于文本/图像分类、检索（CLS 作向量）、对比学习（CLIP 类）与下游特征抽取；是预训练表示"即插即用"的经典接口。

返回AI百科目录 · AI最前沿首页

相关词条：MoE 路由 · 多头注意力 · 分组查询注意力 · ViT · 序列长度外推