吞吐量优化

英文：Throughput Optimization　分类：inference

基本释义

提升推理系统单位时间生成 Token 量的技术方向，直接决定服务成本与并发上限。吞吐优化与延迟优化常需权衡。

技术要点

手段：连续批处理（填满 GPU）、分页 KV（显存复用）、量化（算力/带宽）、投机采样（每 Token 成本↓）、前缀缓存（去重）与算子融合（内核优化）；指标：Tokens/s/GPU。

应用场景

用于高并发 API 服务（成本竞争力）、批量离线生成与多租户平台；吞吐是"单位算力产值"的核心 KPI。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 采样分布 · 服务等级目标