英文:CUDA Graph 分类:inference
把一串 GPU 内核的启动序列捕获成一张图并整体重放的技术,消除 CPU 逐内核启动开销,显著降低小批量推理的延迟抖动。
实现:捕获(capture)阶段记录内核依赖与参数 → 重放(launch)阶段零 CPU 干预;配固定 batch/shape 使用最佳;显存需预分配(图捕获期间不可变);常与批处理引擎配合,吞吐提升 10-30%。
用于在线推理引擎(vLLM 默认启用)、小 batch 低延迟服务与稳定性敏感的生成任务;CUDA Graph 是"延迟确定性"的工程标配。