前缀微调

英文:Prefix Tuning 分类:frontier

基本释义

在输入序列前添加可训练的"前缀向量"(软提示)来适配模型的方法:冻结模型权重,只优化前缀(每层前缀),以极小参数量实现任务适配。

技术要点

机制:每层注入可训练前缀(Key/Value 前缀),影响注意力而改变行为;与提示工程区别:软提示(可训练向量)vs 硬文本;变体:Prompt Tuning(仅输入层前缀);优势:参数极少(<0.1%)、训练快;权衡:效果随任务而异。

应用场景

用于大模型低成本适配(小数据场景)、多任务并行(不同前缀)、生成控制(风格前缀)与资源受限微调;前缀微调是"加个开头就换能力"的轻量魔法。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 适配器 · AI 农业