英文:Model Sparsification 分类:frontier
通过制造稀疏结构(稀疏权重/稀疏激活/稀疏专家)降低模型计算与存储的技术方向:让大量元素为 0,从而用稀疏计算加速。
类型:权重稀疏(剪枝后稀疏矩阵)、激活稀疏(ReLU 类)、专家稀疏(MoE 路由只激活部分专家)、动态稀疏(按输入);加速:稀疏算子/硬件(A100 稀疏张量核);代表:MoE 大模型(Mixtral)、ReLU 激活。
用于大规模模型训练/推理加速、显存与带宽优化、超大规模模型(万亿参数)架构与能耗控制;模型稀疏化是"只算有用的"效率哲学。