服务等级目标

英文:Service Level Objective 分类:inference

基本释义

推理服务必须达成的性能承诺指标,如首 Token 延迟(TTFT)、平均每 Token 延迟(TPOT)、吞吐与可用性。SLO 是服务质量的量化契约。

技术要点

常见 SLO:TTFT<500ms、TPOT<40ms/token、错误率<0.1%、可用性 99.9%;实现需容量规划、动态调度、排队控制与抢占;超标触发告警与扩容。SLO 决定用户体验与成本配比。

应用场景

用于大模型 API 服务(SLA 承诺)、客服/搜索等实时产品与内部推理平台;SLO 是"性能预算"的工程语言。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 吞吐量优化 · 推理成本