变长批处理

英文：Variable-Length Batching　分类：inference

基本释义

把长度不一的序列放入同一批次处理的技术，通过填充对齐或分组调度避免算力浪费，提高 GPU 利用率。

技术要点

方法：填充（pad 到组内最长，简单但浪费）、长度分组（相近长度同批，减少 pad）、迭代级调度（每步自由组合，消除 pad）；与 FlashAttention 兼容（无需统一长度）。

应用场景

用于多用户混合请求的推理服务、RAG（上下文长度差异大）与批量离线推理；变长处理是"吞吐优化"的基础工程。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 动态批处理 · 抢占调度