英文：Pretraining 分类：foundation
在大规模无标注语料上训练模型基础能力的阶段，与下游微调相对。预训练让模型学习语言规律、世界知识与推理能力，是"先用海量数据打底、再按任务精修"这一现代 AI 范式的核心，ChatGPT 等大模型的能力主要来自这一阶段。
预训练通常采用自监督目标：语言模型任务（预测下一个 Token）、掩码语言模型（如 BERT 的 MLM）或对比学习目标。训练使用海量文本、代码与多模态数据，配合超大规模算力（数万 GPU、数月训练周期）与分布式优化（数据并行、流水并行、张量并行）。预训练数据质量、配比与去重直接决定模型能力上限。
2018 年 GPT 与 BERT 确立"预训练+微调"范式；2020 年 GPT-3 验证规模法则，预训练进入千亿参数时代；此后演进出多阶段预训练、持续预训练与后训练（指令微调+对齐）的完整流程，形成当前大模型开发的标准管线。
几乎所有大模型产品（对话、代码、多模态）都基于预训练基础模型，再经指令微调与对齐后上线；领域模型（医疗、法律）也常在通用预训练基础上进行领域持续预训练。
相关词条：Transformer · 注意力机制 · 自注意力 · 嵌入 · 上下文窗口