缓存命中率

英文：Cache Hit Rate　分类：inference

基本释义

推理系统中请求直接命中缓存（前缀 KV、对话缓存）的比例。命中率越高，重复计算越少，吞吐与延迟越好。

技术要点

影响因素：前缀复用度（多轮对话、共享系统提示）、缓存策略（LRU、TTL）、请求相似度（RAG 共享文档）；工程上通过缓存分层（内存/磁盘）与量化压缩提升容量。

应用场景

用于对话服务（多轮 KV 复用）、RAG 应用（文档前缀共享）与多租户（公共提示缓存）；缓存命中率是推理成本优化的核心指标。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 显存碎片 · 前缀共享