英文：Sparse Attention 分类：architecture
只计算部分位置对之间注意力的机制，以可控的精度损失换取长序列的可计算性。它突破 Softmax 注意力的平方复杂度，是超长上下文的关键技术路线之一。
模式包括：窗口注意力（局部）、全局锚点（少量位置全关注）、带状/块状稀疏（Longformer、BigBird）、基于内容选择的稀疏（路由注意力）；常与滑动窗口+全局 Token 组合覆盖局部与全局信息。
用于超长文档建模（书籍、法律文本）、多模态长序列（视频）与高效 Transformer 推理；在效率与精度之间做权衡，混合密度设计是主流。