结构化剪枝

英文:Structured Pruning 分类:frontier

基本释义

按硬件友好结构(整层、注意力头、通道、神经元组)成块删除参数的剪枝方法:虽压缩率低于非结构化,但能真实加速推理(无需稀疏库)。

技术要点

粒度:注意力头剪枝(去冗余头)、层剪枝(去冗余层)、通道剪枝(CNN);方法:重要性评估(幅度/梯度/贡献)→删除→微调恢复;硬件友好:内存连续、算子标准;代表:LLM-Pruner、SparseGPT 结构化版。

应用场景

用于部署加速(标准算子直接受益)、显存受限场景、端侧模型优化与推理成本控制;结构化剪枝是"删得整齐、跑得快"的压缩方式。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 剪枝 · 模型稀疏化