英文：Linear Attention 分类：architecture
将 Softmax 注意力替换为线性核的注意力变体，把计算复杂度从序列长度的平方降为线性，使长序列处理在计算上可行。
核心思想：把注意力权重分解为特征映射的内积，从而先合并 KV、再做一次矩阵乘；代表性方法有线性注意力（Katharopoulos）、RWKV 的线性递归、RetNet 与 Mamba 的状态空间路线。代价是表达能力受限（无 Softmax 归一化的选择机制），需门控等补偿。
用于超长上下文建模（百万级 Token）、流式生成（恒定内存）与边缘设备部署；混合架构（部分层线性注意力+部分 Softmax）在长上下文模型中成为主流选择。