英文：Tokenization 分类：foundation
把原始文本切成 Token 序列的预处理步骤，是模型理解文本的第一道工序。主流方案有 BPE、WordPiece 与 SentencePiece，它们把词表控制在几万量级的同时保证任意输入都能被表示。分词质量直接影响词汇覆盖率、多语言表现与推理效率。
BPE 从字符级语料出发，反复合并出现频率最高的相邻符号对直至达到目标词表大小；WordPiece 按似然增益选择合并；SentencePiece 把空格也作为符号处理，天然适配多语言。分词器需与模型训练保持完全一致，推理时使用同一套词表与合并规则，否则会产生乱码或语义漂移。
从词级分词（形态丰富语言表现差）到子词分词，再到字节级与无监督训练的分词器，分词技术伴随预训练范式成熟，目前 BPE 家族是绝大多数大模型的选择。
在数据预处理流水线中决定语料质量；多语言模型需为中文、日文等无空格语言设计合适词表；下游任务（检索、RAG）常需将查询与文档按同一分词器统一切分以保证检索一致性。
相关词条：Transformer · 注意力机制 · 自注意力 · Token · 嵌入