英文：Positional Encoding 分类：foundation
向模型注入序列位置信息的机制。自注意力本身不具备顺序概念，位置编码让模型知道"第几个位置"，是 Transformer 能处理有序序列的必要组件，其设计直接影响长文本外推能力。
经典方案包括正弦位置编码（固定公式）、可学习位置编码（如 BERT）与旋转位置编码 RoPE（Llama、Qwen 采用，通过旋转矩阵编码相对位置并天然支持长度外推）；还有 ALiBi 等相对位置偏置方案。现代长上下文模型普遍用 RoPE 结合 NTK 缩放或插值扩展窗口。
2017 年正弦编码随 Transformer 提出，2021 年 RoPE 出现并成为开源大模型主流，2023-2024 年围绕 RoPE 的窗口扩展（YaRN、NTK）使 2K 模型扩展到 128K+ 上下文。
所有 Transformer 模型的序列建模基础；工程上长上下文能力、位置插值与推理性能（RoPE 的算子优化）都直接依赖位置编码方案的选择与实现。
相关词条：Transformer · 注意力机制 · 自注意力 · 注意力头 · 掩码