显存碎片

英文：Memory Fragmentation　分类：inference

基本释义

GPU 显存被大小不一的分配切碎、无法高效复用而产生的浪费现象。长上下文与多并发请求下碎片化可导致 OOM 或利用率骤降。

技术要点

成因：KV 缓存动态增长（长度不一）、请求进出（分配/释放交错）；对策：分页 KV（vLLM 页式管理）、缓存池（预分配复用）、内存整理（碎片合并）；监控指标：有效利用率 vs 分配总量。

应用场景

用于长上下文推理服务、高并发多租户与 KV 缓存优化；显存治理是"同一批卡服务更多用户"的关键。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 抢占调度 · 缓存命中率