动态量化

英文：Dynamic Quantization　分类：inference

基本释义

在加载/运行时根据实际激活统计计算量化范围的低比特量化方式。相比静态量化，无需预校准数据，精度通常更好，适合激活分布未知的模型。

技术要点

实现：加载时统计权重范围（动态），运行时统计每层激活范围并量化；激活按批动态缩放（开销小）；PyTorch 等框架原生支持；与静态量化相比推理时多一步统计但免校准流程。

应用场景

用于 CPU/边缘端 LLM 推理（动态 INT8）、部署便捷性优先的场景与快速上线；精度与便捷的平衡之选。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 模型分片 · 静态量化