英文：Model Serving 分类：inference
把模型封装成可弹性扩缩、可观测、可灰度的高可用在线服务，涵盖批处理调度、显存管理、限流与多模型路由。它是模型从实验走向生产之间的工程鸿沟。
推理服务的核心指标是首Token延迟（TTFT）与每Token延迟（TPOT）。优化手段包括KV Cache分页（PagedAttention）、连续批处理、投机采样（Speculative Decoding）与量化（GPTQ/AWQ）。监控需关注GPU利用率、队列长度与OOM率。
推理技术从早期的单请求串行处理，发展到动态批处理、再到现在的分离式计算调度（prefill与decode分离）；硬件也从单卡推理演进到多卡张量并行与流水线并行。
生产环境通常采用Kubernetes+自动扩缩容，配合Prometheus监控与Grafana告警；对于长上下文场景，需特别关注KV Cache显存占用随序列长度的平方级增长。