序列长度外推

英文:Length Extrapolation 分类:architecture

基本释义

让模型处理比训练时更长的序列的能力。绝对位置编码天然外推差,RoPE、ALiBi 等设计配合插值/缩放技术,可将 2K 训练模型扩展到 128K+ 上下文。

技术要点

技术:位置插值(PI,线性拉伸)、NTK 感知缩放(高频分量保真)、YaRN(动态缩放+注意力温度)、流式窗口(测试时滑动);外推常伴随困惑度上升与注意力集中问题,需针对性调参。

应用场景

用于长文档问答、代码仓库理解、多轮 Agent 任务与"一个模型吃遍长度"的部署;是长上下文产品化的关键技术。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · CLS Token · KV 缓存压缩