英文:Service Level Objective 分类:inference
推理服务必须达成的性能承诺指标,如首 Token 延迟(TTFT)、平均每 Token 延迟(TPOT)、吞吐与可用性。SLO 是服务质量的量化契约。
常见 SLO:TTFT<500ms、TPOT<40ms/token、错误率<0.1%、可用性 99.9%;实现需容量规划、动态调度、排队控制与抢占;超标触发告警与扩容。SLO 决定用户体验与成本配比。
用于大模型 API 服务(SLA 承诺)、客服/搜索等实时产品与内部推理平台;SLO 是"性能预算"的工程语言。