低秩分解

英文:Low-Rank Decomposition 分类:frontier

基本释义

将大权重矩阵分解为多个低秩矩阵的乘积来减少参数/计算的技术(如 SVD、LoRA 原理):利用权重冗余,用少量参数近似表达原矩阵。

技术要点

原理:W≈A·B(低秩逼近,秩远小于维度);应用:模型压缩(权重分解存储)、参数高效微调(LoRA:只训低秩增量)、推理加速(分解后计算量下降);精度:分解损失需微调补偿;代表:LoRA/QLoRA、SVD 压缩。

应用场景

用于微调(LoRA 低成本适配)、模型压缩(体积下降)、显存优化与高效推理;低秩分解是"以少代多"的矩阵艺术。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 模型稀疏化 · 参数高效微调