英文：Token 分类：foundation
模型处理文本的最小单位，由分词器把原始文本切成词、子词或字符得到。中文一个词可能对应一个或多个 Token，英文常见单词通常 1-2 个 Token。上下文长度、API 计费与推理成本都以 Token 数量计量，因此"Token"也是大模型使用中最重要的经济单位。
分词算法（如 BPE）基于统计合并高频字符片段，构建有限词表；未知词会被拆成更小的子词，从而保证任意文本都可表示。模型以 Token 的嵌入向量为输入，逐 Token 自回归生成输出。Token 数量直接影响显存占用（注意力矩阵、KV 缓存）与生成延迟。
从早期基于规则的分词、WordPiece/BPE 子词方案，到 SentencePiece 与字节级 BPE（如 GPT-2 的 byte-level），分词策略随模型规模不断扩大而演进，成为预训练流程的标准前置组件。
所有语言模型 API（OpenAI、Claude、Gemini、国产大模型）均按 Token 计费与限制上下文；工程上通过 Token 数估算、截断与流式输出控制成本，长文档场景还常用 Token 预算管理来规划检索与生成范围。
相关词条：Transformer · 注意力机制 · 自注意力 · 自注意力 · 分词