大语言模型

英文：Large Language Model　分类：foundation

基本释义

大语言模型（Large Language Model，LLM）是基于Transformer架构、在海量文本语料上进行大规模预训练得到的超大规模神经网络模型，通过预测下一个Token的方式学习语言规律，具备理解、生成、推理、对话等通用语言能力，是当前生成式AI的核心技术载体。

技术要点

典型参数规模从数十亿到数万亿Token级；采用自回归（Auto-Regressive）解码方式生成文本；通过指令微调（SFT）、人类反馈强化学习（RLHF）对齐人类偏好；支持上下文学习（In-Context Learning）、思维链（Chain-of-Thought）等能力；通过上下文窗口限制单次可处理的文本长度。

发展脉络

2018-2020年GPT系列开启大模型时代；2022年底ChatGPT发布引发全球生成式AI浪潮；2023-2024年GPT-4、Claude 3、Gemini等多模态大模型相继问世；2025年后开源大模型（Llama、Qwen、DeepSeek等）快速发展，参数效率、推理成本大幅降低。

应用场景

智能对话、内容创作、代码辅助、知识问答、文档摘要、机器翻译、教育辅导、企业智能客服、Agent智能体、搜索增强等，已渗透到互联网、金融、医疗、教育、办公等几乎所有行业场景。

返回AI百科目录 · AI最前沿首页

相关词条：Transformer · 注意力机制 · 自注意力 · 上下文窗口 · 基础模型