前缀共享

英文：Prefix Sharing　分类：inference

基本释义

多个请求复用相同输入前缀的 KV 计算结果，避免重复计算。对话、批量相似请求、共享系统提示场景下大幅节省算力。

技术要点

实现：树状前缀缓存（共享节点）、页表级共享（vLLM 的 copy-on-write 页）、批内前缀复用（同 batch 去重）；动态扩展前缀（每轮对话追加并共享）。

应用场景

用于多用户公共提示、多轮会话与评测批处理；前缀共享与提示缓存同源，是服务端推理的高效机制。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 缓存命中率 · 解码策略