融合算子

英文：Kernel Fusion　分类：inference

基本释义

将多个 GPU 算子合并为单个内核的技术，减少显存读写与内核启动开销。FlashAttention、融合 MLP 均属此类，是大模型推理加速的基石。

技术要点

原理：把"计算-写显存-读显存-计算"链压缩为片上连续计算；实现用 CUDA/Triton 手写内核或编译器（XLA、Triton）自动融合；收益：延迟降 20-50%，显存带宽压力大减。

应用场景

用于注意力（FlashAttention 系列）、MLP/GELU 融合、量化反量化融合与一切带宽瓶颈算子；融合是推理引擎（vLLM、TensorRT）的性能根基。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 稀疏化推理 · CUDA Graph