PEFT

英文:PEFT 分类:training

基本释义

参数高效微调:冻结大部分预训练参数,只训练少量新增/选择的参数(LoRA、Adapter、Prefix 等),以极低显存与数据成本完成适配,效果接近全量微调,是开源生态微调的主流。

技术要点

代表方法:LoRA(低秩矩阵注入,最流行)、QLoRA(4bit 量化+LoRA)、Adapter(层间小模块)、Prefix/Prompt(前缀向量);成本:可训练参数 0.1%-1%、显存降低一个数量级;收益:单卡可微调大模型、多任务并存(各任务独立适配器);权衡:极低资源下效果略降。

应用场景

用于个人/小团队微调(单卡 7B-70B)、多任务部署(每任务一个 LoRA)、垂直领域适配(法律/医疗)与模型即服务(按任务热切换适配器)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 梯度检查点 · Adapter