英文:PEFT 分类:training
参数高效微调:冻结大部分预训练参数,只训练少量新增/选择的参数(LoRA、Adapter、Prefix 等),以极低显存与数据成本完成适配,效果接近全量微调,是开源生态微调的主流。
代表方法:LoRA(低秩矩阵注入,最流行)、QLoRA(4bit 量化+LoRA)、Adapter(层间小模块)、Prefix/Prompt(前缀向量);成本:可训练参数 0.1%-1%、显存降低一个数量级;收益:单卡可微调大模型、多任务并存(各任务独立适配器);权衡:极低资源下效果略降。
用于个人/小团队微调(单卡 7B-70B)、多任务部署(每任务一个 LoRA)、垂直领域适配(法律/医疗)与模型即服务(按任务热切换适配器)。