英文:Prefix Tuning 分类:frontier
在输入序列前添加可训练的"前缀向量"(软提示)来适配模型的方法:冻结模型权重,只优化前缀(每层前缀),以极小参数量实现任务适配。
机制:每层注入可训练前缀(Key/Value 前缀),影响注意力而改变行为;与提示工程区别:软提示(可训练向量)vs 硬文本;变体:Prompt Tuning(仅输入层前缀);优势:参数极少(<0.1%)、训练快;权衡:效果随任务而异。
用于大模型低成本适配(小数据场景)、多任务并行(不同前缀)、生成控制(风格前缀)与资源受限微调;前缀微调是"加个开头就换能力"的轻量魔法。