英文：Attention Head 分类：architecture
多头注意力中并行运行的注意力子模块：每个头在自己的子空间（独立 Q/K/V 投影）学习不同类型的关注模式（语法、指代、语义、位置等），多头的输出拼接后统一投影，极大增强模型表达能力。
机制：h 个头的输出拼接→线性投影（总维度不变）；分工：研究显示不同头专业化（如句法头、指代头、位置头）；数量：与模型维度相关（如 GPT 12 层×12 头）；剪枝：部分头冗余可剪（保留关键头）；实现：多头并行（硬件友好）。
用于 Transformer 各模型（语言/视觉/多模态）的核心组件、注意力机制研究与模型压缩（头剪枝）；注意力头是"多头并行分工"的表达单元。