剪枝

英文:Pruning 分类:frontier

基本释义

删除模型中冗余参数(权重/神经元/通道)来压缩模型的技术:去除贡献小的部分,保持大部分能力的同时减少存储与计算。

技术要点

方法:幅度剪枝(小权重删除)、结构化剪枝(整通道/头/层)、迭代剪枝(训练-剪枝-微调)、稀疏训练(从头稀疏);粒度:非结构化(高压缩率但硬件不友好)vs 结构化(硬件加速友好);代表:SparseGPT、LLM-Pruner。

应用场景

用于模型压缩(体积/显存下降)、推理加速(稀疏计算)、端侧部署与成本优化;剪枝是"模型去脂"的经典手段。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 边缘模型 · 结构化剪枝