提示缓存

英文:Prompt Caching 分类:inference

基本释义

缓存输入前缀的 KV 状态,使重复请求跳过重算的推理优化。对话延续、系统提示、RAG 文档场景收益显著,主流 API 已按缓存价格计费。

技术要点

实现:精确前缀匹配(Token 级一致才命中)、自动/手动缓存(TTL 或显式标记)、缓存存储(显存/磁盘分层);收益:首字延迟下降、成本下降(缓存读价低于重算价)。

应用场景

用于多轮对话(每轮复用历史)、RAG(长文档前缀缓存)、Agent(共享上下文)与 API 服务;提示缓存是"长上下文+低成本"的关键配套。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 前缀缓存 · PD 分离