分页 KV 缓存

英文：Paged KV Cache　分类：architecture

基本释义

借鉴操作系统分页管理注意力键值缓存的技术：KV 按固定大小的"页"分配，支持非连续显存与按需扩容，消除碎片化并提升显存利用率。

技术要点

代表实现：vLLM 的 PagedAttention，把每个序列的 KV 拆成页（block），用页表索引；支持共享（前缀缓存）、抢占换出与动态批处理。相比连续分配，显存碎片减少、批大小增大、吞吐显著提升。

应用场景

用于大模型推理服务（vLLM、SGLang、TensorRT-LLM）的 KV 管理、前缀缓存（多轮对话共享）与高并发在线推理；是推理引擎的性能基石。

返回AI百科目录 · AI最前沿首页

相关词条：MoE 路由 · 多头注意力 · 分组查询注意力 · Flash-Decoding · 投机采样