英文：Microservices 分类：inference
将应用拆分为独立小服务的架构风格。
推理服务的核心指标是首Token延迟（TTFT）与每Token延迟（TPOT）。优化手段包括KV Cache分页（PagedAttention）、连续批处理、投机采样（Speculative Decoding）与量化（GPTQ/AWQ）。监控需关注GPU利用率、队列长度与OOM率。
推理技术从早期的单请求串行处理，发展到动态批处理、再到现在的分离式计算调度（prefill与decode分离）；硬件也从单卡推理演进到多卡张量并行与流水线并行。
生产环境通常采用Kubernetes+自动扩缩容，配合Prometheus监控与Grafana告警；对于长上下文场景，需特别关注KV Cache显存占用随序列长度的平方级增长。
相关词条：KV Cache · 投机解码 · 前缀缓存 · Docker · Serverless