迁移学习

英文:Transfer Learning 分类:foundation

基本释义

将模型在源任务(大规模预训练)学到的知识迁移到目标任务(小规模下游)的学习范式:预训练+微调是其典型形态,让标注稀缺的任务也能获得强大能力。

技术要点

形式:特征迁移(预训练表征)、参数迁移(微调/适配器)、知识蒸馏(教师→学生);关键:领域差异(分布偏移需适配)、灾难性遗忘(微调丢失源知识);与大模型:预训练(通用知识)→指令微调(对齐)→领域微调(垂直)。

应用场景

用于 NLP/CV 各领域(标注稀缺时)、大模型适配(垂直行业)、少样本场景与持续学习;迁移学习是"学会的学习"效率基石。

返回AI百科目录 · AI最前沿首页

相关词条:Transformer · 注意力机制 · 自注意力 · 强化学习 · 欠拟合