英文：LM Head 分类：foundation
将隐藏状态映射到词表 logits 的最后一层，通常与嵌入层共享权重。
从架构设计角度，该模型在注意力计算、位置编码、归一化方案与激活函数上有明确选择；训练时需关注学习率warmup比例、权重衰减、注意力dropout与残差连接比例。推理阶段则依赖KV Cache、PagedAttention与连续批处理提升吞吐。
该架构（或模型）由对应研究机构于特定时期提出，后续经过多轮迭代，参数量从最初的数十亿扩展到如今的数千亿甚至万亿级别；开源社区在其基础上衍生出大量微调版本与变体，形成了活跃的生态。
工业部署通常采用vLLM、TensorRT-LLM或llama.cpp等推理框架，根据场景选择稠密或MoE架构、FP16/BF16或INT4量化。端侧场景常用GGUF格式，云端场景追求最大吞吐量。
相关词条：Transformer · 注意力机制 · 自注意力 · 嵌入层 · TensorRT-LLM