CUDA Graph

英文:CUDA Graph 分类:inference

基本释义

把一串 GPU 内核的启动序列捕获成一张图并整体重放的技术,消除 CPU 逐内核启动开销,显著降低小批量推理的延迟抖动。

技术要点

实现:捕获(capture)阶段记录内核依赖与参数 → 重放(launch)阶段零 CPU 干预;配固定 batch/shape 使用最佳;显存需预分配(图捕获期间不可变);常与批处理引擎配合,吞吐提升 10-30%。

应用场景

用于在线推理引擎(vLLM 默认启用)、小 batch 低延迟服务与稳定性敏感的生成任务;CUDA Graph 是"延迟确定性"的工程标配。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 融合算子 · 温度退火