英文：Inference Concurrency 分类：inference
推理系统同时处理的请求/用户数。并发度受显存（KV 缓存）、吞吐与延迟目标共同约束，是服务容量的核心指标。
决定因素：可用显存（模型+KV/请求）、批处理效率（并发越高吞吐越高但延迟↑）、SLO 限制（延迟预算内可承载数）；工程通过 KV 压缩、缓存与队列控制提升并发。
用于容量规划（并发→所需 GPU 数）、多租户服务（并发隔离）与压测指标（峰值并发）；并发能力直接决定"同一批卡能服务多少用户"。
相关词条：KV Cache · 投机解码 · 前缀缓存 · 每 Token 成本 · 模型分片