基础模型

英文:Foundation Model 分类:foundation

基本释义

在海量数据上大规模预训练而成、具备广泛通用能力的模型,可作为各类下游任务的底座。它不针对单一任务,而是通过微调、提示或对齐适配到对话、写作、代码、翻译等多种场景,是"一个模型、处处可用"理念的载体。

技术要点

基础模型通常拥有数十亿至数万亿参数,基于 Transformer 架构,在文本、代码、图像、语音等多模态数据上预训练。其能力来自规模法则驱动的涌现效应,通用性则来自任务无关的预训练目标。下游可通过指令微调、LoRA 适配、检索增强或上下文学习调用,而无需为每个任务从头训练。

发展脉络

BERT/GPT 开启预训练语言模型时代,GPT-3 验证规模与涌现,ChatGPT 将基础模型推向大众,随后基础模型扩展为多模态(GPT-4o、Gemini、Claude)与推理模型(o 系列、R1)两大方向,并出现开源权重生态(Llama、Qwen、DeepSeek)。

应用场景

作为 AI 应用的技术底座,被集成进搜索引擎、办公套件、编程 IDE、客服系统与智能体平台;企业通过 API 调用或私有化部署基础模型,再按领域微调以构建自有智能服务。

返回AI百科目录 · AI最前沿首页

相关词条:Transformer · 注意力机制 · 自注意力 · 大语言模型 · 上下文学习