Flash-Decoding

英文:Flash-Decoding 分类:architecture

基本释义

面向长序列推理的注意力加速技术,在 FlashAttention 基础上把并行度扩展到键/值维度,让解码阶段(一次一个 Token)也能充分利用 GPU。

技术要点

原理:将 KV 分块并行计算局部注意力分数与统计量,再合并(rescale)得到精确结果;适合"一个查询、大量 KV"的解码场景,是长上下文推理吞吐的关键优化之一。

应用场景

用于 vLLM/SGLang 等推理引擎的注意力内核、超长上下文生成与批处理解码;配合分页 KV 缓存构成现代推理引擎的标配。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · KV 缓存压缩 · 分页 KV 缓存