英文：FlashDecoding 分类：training
加速长上下文解码（生成）阶段注意力计算的技术（FlashAttention 的推理优化版）：将长序列的键值分块并行计算部分注意力后归约，大幅降低解码延迟，配合 FlashAttention 2 支持百万 token 级推理。
问题：解码时逐 token 生成，KV 缓存极长导致注意力计算成为瓶颈（无法利用数据并行并行度）；方法：按序列分块→各块并行计算注意力（部分 logits/max/sum）→归约合并；效果：长上下文解码吞吐成倍提升、显存友好（不物化完整注意力矩阵）；生态：集成于 vLLM/SGLang 等推理引擎；变体：FlashDecoding++（多级归约）。
用于长上下文推理（128K-1M token）、大模型服务优化（吞吐提升）、推理引擎部署（vLLM 标配）与生成延迟敏感场景（聊天/Agent 实时响应）。