英文：Prefix Caching 分类：inference
把多请求共有的提示前缀（如系统提示、长文档）的 KV Cache 复用起来，只计算各自不同的部分。在系统提示很长或多轮对话场景下能显著降低首 Token 延迟。
推理服务的核心指标是首Token延迟（TTFT）与每Token延迟（TPOT）。优化手段包括KV Cache分页（PagedAttention）、连续批处理、投机采样（Speculative Decoding）与量化（GPTQ/AWQ）。监控需关注GPU利用率、队列长度与OOM率。
推理技术从早期的单请求串行处理，发展到动态批处理、再到现在的分离式计算调度（prefill与decode分离）；硬件也从单卡推理演进到多卡张量并行与流水线并行。
生产环境通常采用Kubernetes+自动扩缩容，配合Prometheus监控与Grafana告警；对于长上下文场景，需特别关注KV Cache显存占用随序列长度的平方级增长。