英文:Flash-Decoding 分类:architecture
面向长序列推理的注意力加速技术,在 FlashAttention 基础上把并行度扩展到键/值维度,让解码阶段(一次一个 Token)也能充分利用 GPU。
原理:将 KV 分块并行计算局部注意力分数与统计量,再合并(rescale)得到精确结果;适合"一个查询、大量 KV"的解码场景,是长上下文推理吞吐的关键优化之一。
用于 vLLM/SGLang 等推理引擎的注意力内核、超长上下文生成与批处理解码;配合分页 KV 缓存构成现代推理引擎的标配。