Adapter

英文：Adapter　分类：training

基本释义

在 Transformer 层间插入的小型可训练模块（通常下投影→激活→上投影的瓶颈结构）：冻结主模型、只训练 Adapter 即可适配新任务，是参数高效微调（PEFT）的经典方法。

技术要点

结构：瓶颈（降维→非线性→升维，参数量 0.5%-5%）；放置：FFN 后/注意力后（AdapterHub 研究）；变体：并行 Adapter（与主路径并行）、AdapterFusion（多任务组合）；对比 LoRA：参数量相近、有时序推理开销（串行）；收益：多任务插拔、防灾难性遗忘。

应用场景

用于多任务适配（每个任务一个 Adapter 热切换）、参数高效微调（低资源设备）、持续学习（新任务叠加）与 NLP 迁移研究。

返回AI百科目录 · AI最前沿首页

相关词条：微调 · 监督微调 · 指令微调 · PEFT · Prefix Tuning