英文:Low-Rank Decomposition 分类:frontier
将大权重矩阵分解为多个低秩矩阵的乘积来减少参数/计算的技术(如 SVD、LoRA 原理):利用权重冗余,用少量参数近似表达原矩阵。
原理:W≈A·B(低秩逼近,秩远小于维度);应用:模型压缩(权重分解存储)、参数高效微调(LoRA:只训低秩增量)、推理加速(分解后计算量下降);精度:分解损失需微调补偿;代表:LoRA/QLoRA、SVD 压缩。
用于微调(LoRA 低成本适配)、模型压缩(体积下降)、显存优化与高效推理;低秩分解是"以少代多"的矩阵艺术。