模型压缩

英文:Model Compression 分类:frontier

基本释义

在保持能力的前提下减小模型体积/算力开销的技术集合:量化、剪枝、蒸馏、低秩分解、共享参数等,让大模型"变小变快"。

技术要点

方法:量化(权重/激活精度降低:GPTQ、AWQ)、剪枝(去冗余:SparseGPT)、蒸馏(知识迁移)、低秩(LoRA 化权重)、混合(组合使用);权衡:压缩率 vs 精度损失、硬件加速收益;评估:压缩后基准+实际部署指标。

应用场景

用于推理成本控制(显存/带宽)、端侧部署(体积限制)、高并发服务(吞吐提升)与私有化部署;模型压缩是"大模型瘦身"的工艺包。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 持续学习 · 批量推理