稀疏化推理

英文：Sparse Inference　分类：inference

基本释义

利用权重稀疏性（大量零元素）跳过无效计算的推理优化，可降低延迟与能耗，在支持稀疏的硬件（如 A100 2:4）上收益显著。

技术要点

方式：结构化稀疏（2:4 模式，硬件加速）、非结构化稀疏（需稀疏内核）、激活稀疏（MoE 路由天然稀疏）；训练需稀疏感知（剪枝+微调）保持精度；软件栈（内核、推理引擎）支持度是落地的关键。

应用场景

用于大模型剪枝后部署、MoE 推理（专家稀疏）与能效敏感场景（数据中心、边缘）；稀疏化是"算力效率"的长期路线。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 静态量化 · 融合算子