英文:Position Interpolation 分类:architecture
把训练时的位置编码范围线性拉伸到更长上下文的位置扩展技术。它让 2K 训练的模型无需继续预训练即可处理 16K 甚至更长输入。
实现:将位置索引乘以缩放因子(如 4K→16K 缩放 4),使位置编码落入训练范围;配合微调(少量长文本数据)恢复精度;局限是高频细节模糊,衍生方案(NTK、YaRN)针对性改进。
用于长上下文扩展(LLM 上下文 4K→128K)、RAG 大文档处理与长对话;是"低成本获得长上下文"的标准路径之一。