英文：KV Cache Compression 分类：architecture
压缩注意力键值缓存的技术，在长上下文与高并发推理中显著降低显存。压缩让"装得下更多 Token、服务更多用户"。
方法：驱逐式（丢弃不重要 KV，如 StreamingLLM、H2O）、量化式（KV 低比特，如 FP8/INT4）、共享式（GQA/MQA）、合并式（缓存抽象）与位置优化（RoPE 缓存变形）；需在压缩率与精度损失间权衡，配合注意力重要性度量。
用于长上下文推理（显存受限）、高吞吐服务（更多并发）、端侧部署与流式应用；KV 压缩是大模型推理优化的核心战场。
相关词条：MoE 路由 · 多头注意力 · 分组查询注意力 · 序列长度外推 · Flash-Decoding