QKV 投影

英文:QKV Projection 分类:architecture

基本释义

注意力机制中把输入表示投影为查询(Q)、键(K)、值(V)三组向量的线性变换。QKV 投影定义了"问什么、比对什么、取什么",是注意力表达能力的来源。

技术要点

实现:三个可学习权重矩阵 Wq、Wk、Wv(多头下按头分组);现代实现常用 GQA(KV 共享)与 RoPE(旋转位置编码作用于 QK)。投影维度的选择(如 64/头)与初始化影响训练稳定性。

应用场景

用于所有 Transformer 的注意力计算;在量化、稀疏化等优化中 QKV 投影常作为单独模块处理。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 缩放点积注意力 · 可学习位置编码