英文:Model Merging 分类:architecture
将多个针对不同任务微调的模型权重融合为一个模型的技术,让单一模型同时具备多种能力,无需重新训练或多模型部署。
方法:权重插值(直接平均/SLERP)、任务向量(加减任务向量)、TIES(符号一致合并)、DARE(随机丢弃+缩放);可合并同一基座的多个 LoRA/全参微调模型。优势:省显存、省部署、能力叠加;风险:能力冲突与遗忘。
用于多任务合一(代码+数学+对话)、开源社区模型组合(吃百家饭)、低成本定制与多语言扩展;模型合并是"权重即能力"时代的高效工程。