英文:Prompt Caching 分类:inference
缓存输入前缀的 KV 状态,使重复请求跳过重算的推理优化。对话延续、系统提示、RAG 文档场景收益显著,主流 API 已按缓存价格计费。
实现:精确前缀匹配(Token 级一致才命中)、自动/手动缓存(TTL 或显式标记)、缓存存储(显存/磁盘分层);收益:首字延迟下降、成本下降(缓存读价低于重算价)。
用于多轮对话(每轮复用历史)、RAG(长文档前缀缓存)、Agent(共享上下文)与 API 服务;提示缓存是"长上下文+低成本"的关键配套。