英文：Transformer 分类：foundation
谷歌 2017 年论文「Attention Is All You Need」提出的神经网络架构，用自注意力机制完全取代循环（RNN）与卷积（CNN）结构。它让序列中的所有位置可以同时参与计算，从而支持大规模并行训练，是当今几乎所有大语言模型（GPT、BERT、T5 等）的共同骨架。
核心是自注意力层：每个词元生成查询（Q）、键（K）、值（V）三组向量，通过 Q 与 K 的点积除以缩放因子得到注意力分数，再对 V 加权求和。多头注意力将这一过程拆到多个子空间并行，配合位置编码注入顺序信息、前馈网络与残差连接完成非线性变换。自注意力的计算复杂度为 O(n²)（n 为序列长度），因此长序列场景常配合稀疏注意力、滑动窗口或 FlashAttention 等优化。
2017 年提出后先在机器翻译上超越 RNN；2018 年 BERT 以双向编码器刷新多项 NLP 榜单，GPT 系列则验证了大规模自回归预训练；2020 年 GPT-3 展示涌现能力，2022 年后 ChatGPT 引爆生成式 AI 浪潮。随后 Transformer 从文本扩展到视觉（ViT）、语音、多模态与科学计算，成为 AI 的通用基础架构。
覆盖自然语言理解与生成、机器翻译、代码生成、图像分类与生成、语音识别、蛋白质结构预测等几乎所有 AI 任务；工业界以推理 API、开源权重与部署框架（vLLM、TGI 等）形式被搜索引擎、办公软件、编程助手与智能客服广泛采用。