多任务训练

英文:Multi-Task Training 分类:training

基本释义

用一个模型同时学习多个任务(共享参数、多任务损失联合优化)的训练方式:通过任务间知识共享提升泛化与数据效率(如 T5、MT-DNN),指令微调是其现代大规模形态。

技术要点

设计:任务头共享 vs 统一格式(指令化)、损失加权(任务均衡)、采样配比(防大任务主导);收益:数据效率(共享表示)、正则化(任务多样性防过拟合)、少样本迁移(任务间泛化);挑战:任务冲突(负迁移)、收敛不均;现代:指令微调(数百任务统一为文本生成);评估:多任务平均分。

应用场景

用于指令微调(T5/FLAN/ChatGPT 数据)、多模态训练(视觉+语言)、持续学习基础(任务序列)与 NLP 系统统一(单模型多能力)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 过训练 · 持续学习