分组查询注意力

英文：Grouped-Query Attention　分类：architecture

基本释义

让多个查询头共享同一组键值头的注意力结构（GQA）。相比每头独立 KV（MHA），KV 缓存显著减小；相比全共享（MQA），质量损失更小，是长上下文推理的主流折中。

技术要点

实现：设 G 组键值头，每组服务 Q/G 个查询头；Llama 2/3、Qwen、Mistral 等采用 GQA（通常 8 个 KV 头）。效果上接近 MHA 质量，推理时 KV 缓存显存大幅下降，吞吐提升。

应用场景

用于大模型推理服务（KV 缓存压缩）、长上下文生成与端侧部署；GQA 已成为现代大模型的标准注意力配置。

返回AI百科目录 · AI最前沿首页

相关词条：MoE 路由 · 多头注意力 · 旋转位置编码 · 多头注意力 · 旋转位置编码