持续学习

英文:Continual Learning 分类:training

基本释义

让模型持续学习新任务/新知识而不遗忘旧知识(灾难性遗忘)的学习范式:模拟人类"终身学习",是模型上线后持续进化的关键挑战(在线更新、新领域扩展)。

技术要点

挑战:灾难性遗忘(新任务覆盖旧参数);方法:回放(存储/生成旧数据样本)、正则(EWC:重要参数约束)、架构(新模块/Adapter 隔离)、知识蒸馏(旧模型约束);现代:大模型+LoRA(任务隔离)、数据管道持续更新(增量预训练);评估:新旧任务平均性能(遗忘率);产品:模型热更新(知识新鲜度)。

应用场景

用于模型上线后的知识更新(新闻/产品变化)、多领域扩展(新增任务不重训)、Agent 记忆持续学习(长期记忆)与设备端模型(资源受限的增量学习)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 多任务训练 · 模型压缩