英文:Prefix Tuning 分类:training
在注意力机制的键值序列前拼接可训练的前缀向量(每层独立),冻结主模型只优化前缀,实现参数高效微调的方法:比 Adapter 更轻(不修改模型结构),适合小数据快速适配。
机制:每层注意力 KV 前插入连续前缀(虚拟 token 的 embedding);参数:前缀长度(如 20-100 token)为唯一可训练量;变体:Prompt Tuning(仅输入层)、P-Tuning(可学习提示);特点:与模型结构解耦(无需改层);效果:接近全量微调(数据充足时);局限:前缀长度影响上下文窗口。
用于轻量任务适配(分类/生成)、低显存微调(单卡)、多任务并行(不同前缀切换)与提示工程研究(连续提示 vs 离散提示)。