英文:Continued Pretraining 分类:training
在通用预训练之后,用领域语料继续无监督训练(自监督损失)的阶段:让模型补充学习行业知识(医学术语、法律条文、代码规范),再进入监督微调,是行业大模型的常见路径。
流程:通用预训练→领域持续预训练→SFT/RLHF;数据:领域语料(论文/专利/法规/日志,需清洗去重);关键:防遗忘(混合通用数据:通用:领域≈1:1~1:4)、学习率衰减(小于预训练)、灾难性遗忘监控;效果:领域困惑度下降、知识召回提升。
用于行业大模型(医疗/法律/金融/工业)、企业知识注入(内部文档预训练)、垂类助手(术语准确)与开源模型二次开发。