位置插值

英文:Position Interpolation 分类:architecture

基本释义

把训练时的位置编码范围线性拉伸到更长上下文的位置扩展技术。它让 2K 训练的模型无需继续预训练即可处理 16K 甚至更长输入。

技术要点

实现:将位置索引乘以缩放因子(如 4K→16K 缩放 4),使位置编码落入训练范围;配合微调(少量长文本数据)恢复精度;局限是高频细节模糊,衍生方案(NTK、YaRN)针对性改进。

应用场景

用于长上下文扩展(LLM 上下文 4K→128K)、RAG 大文档处理与长对话;是"低成本获得长上下文"的标准路径之一。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 稠密模型 · NTK 感知缩放