动态批处理

英文：Dynamic Batching　分类：inference

基本释义

推理服务把到达的请求动态组合成批次执行的技术，让 GPU 始终满载，显著提升吞吐。

技术要点

实现：请求队列按到达聚合（连续批处理）、持续批处理（迭代级调度：完成即释放插新请求）、与投机采样/前缀缓存组合；粒度从请求级到 Token 级（vLLM 的 continuous batching）。

应用场景

用于大模型在线服务（高并发 API）、多租户推理与混合负载；动态批处理+分页 KV 是现代推理引擎吞吐翻倍的两大支柱。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 目标模型 · 变长批处理