英文：Embedding 分类：foundation
把离散符号（词、Token、实体）映射为稠密低维实数向量的表示方法，是深度学习处理离散数据的基本手段。语义相近的符号在向量空间中距离更近，例如"猫"与"狗"的向量比"猫"与"汽车"更接近，为后续模型提供了可计算的语义底座。
嵌入层本质上是一张可学习的查找表：每个词元对应一行向量，随模型一起通过梯度下降训练。词嵌入的经典算法有 Word2Vec、GloVe、FastText；在大模型中，Token 嵌入与位置编码相加后进入 Transformer 层，输出端再通过反嵌入（unembedding）映射回词表概率。
2013 年 Word2Vec 提出"语义由分布决定"的向量化思路；此后嵌入从静态词向量演进为上下文相关的动态表示（ELMo、BERT），大模型时代输入嵌入与输出概率层成为标准组件，向量检索也基于嵌入构建。
用于向量数据库的语义检索、推荐系统的物品表征、相似度计算与聚类；工业界以 embedding API 形式服务检索增强生成（RAG）、去重与知识库问答等场景。
相关词条：Transformer · 注意力机制 · 自注意力 · 分词 · 预训练