英文:Pruning 分类:frontier
删除模型中冗余参数(权重/神经元/通道)来压缩模型的技术:去除贡献小的部分,保持大部分能力的同时减少存储与计算。
方法:幅度剪枝(小权重删除)、结构化剪枝(整通道/头/层)、迭代剪枝(训练-剪枝-微调)、稀疏训练(从头稀疏);粒度:非结构化(高压缩率但硬件不友好)vs 结构化(硬件加速友好);代表:SparseGPT、LLM-Pruner。
用于模型压缩(体积/显存下降)、推理加速(稀疏计算)、端侧部署与成本优化;剪枝是"模型去脂"的经典手段。
返回AI百科目录 · AI最前沿首页
相关词条:模型自进化 · 合成数据 · 长度外推 · 边缘模型 · 结构化剪枝
热门栏目: 24小时快讯 · 深度文章 · AI百科 · AI工具库 · AI教程 · 行业大会 · 公司动态