英文:NTK-Aware Scaling 分类:architecture
基于神经正切核(NTK)理论改进 RoPE 位置缩放的方法:只调整高频分量的频率,保留低频不变,避免位置插值的"高频信息丢失",长上下文外推效果更好。
原理:RoPE 频率按 NTK 建议的基数缩放(高频衰减、低频保持),使模型对局部位置(高频,相邻 Token 关系)保持敏感,全局位置(低频)自然外推;常与 YaRN(注意力温度+动态缩放)结合。
用于大模型超长上下文扩展(如 8K→64K/128K 的社区方案)、无需训练的即插即用外推与长文档应用;是 RoPE 模型上下文扩展的主流技术。