参数高效微调

英文:Parameter-Efficient Fine-Tuning 分类:frontier

基本释义

只更新少量参数(如 LoRA 低秩增量、适配器、前缀)即可适配新任务的微调方法:保留基座权重冻结,大幅降低显存与存储成本,是模型适配的主流范式。

技术要点

方法:LoRA(低秩增量)、QLoRA(量化+LoRA)、适配器(插入模块)、前缀/提示微调(软提示);优势:显存小、可切换(一个基座多任务)、防灾难性遗忘;训练:仅优化增量参数(通常<1%);代表:微调生态标配。

应用场景

用于垂直领域适配(客服/医疗/法律)、多任务部署(共享基座)、低成本定制(个人/小团队微调)与模型商店(LoRA 共享);参数高效微调是"小成本大适配"的钥匙。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 低秩分解 · 适配器