可学习位置编码

英文：Learned Positional Embedding　分类：architecture

基本释义

将位置编号映射为可训练向量的位置编码方式，位置表示随模型训练自动学习。BERT 等编码器模型采用，简单直接。

技术要点

特点：无归纳偏置、完全数据驱动；受限于训练时最大位置（外推性差），需截断或插值处理长序列；与相对位置编码相比，绝对位置语义较弱，但实现简单且在小到中长度表现稳定。

应用场景

用于 BERT 类编码器、部分多模态模型与中等长度任务；长上下文场景逐步让位于 RoPE 等外推友好的方案。

返回AI百科目录 · AI最前沿首页

相关词条：MoE 路由 · 多头注意力 · 分组查询注意力 · QKV 投影 · 相对位置编码