大语言模型（LLM）知识大全
AI最前沿整理282个大模型相关核心术语，涵盖架构、训练、推理等方向。
- Transformer - 【基本释义】谷歌 2017 年论文「Attention Is All You Need」提出的神经网络架构，用自注意力机制完全取代循环（RNN）与卷积（CNN）
- 注意力机制 - 【基本释义】让模型在处理序列中某个位置时，按相关性给其他所有位置分配不同权重的机制。它使任意两个词元之间的依赖可以被直接建模，不再受距离限制，是 Transfo
- 自注意力 - 【基本释义】注意力机制的一种特殊形式：序列中的每个位置同时充当查询、键和值，从而在同一序列内部建立全局依赖关系。它让模型能够根据上下文动态理解每个词的含义，例如
- Token - 【基本释义】模型处理文本的最小单位，由分词器把原始文本切成词、子词或字符得到。中文一个词可能对应一个或多个 Token，英文常见单词通常 1-2 个 Token
- 分词 - 【基本释义】把原始文本切成 Token 序列的预处理步骤，是模型理解文本的第一道工序。主流方案有 BPE、WordPiece 与 SentencePiece，它
- 嵌入 - 【基本释义】把离散符号（词、Token、实体）映射为稠密低维实数向量的表示方法，是深度学习处理离散数据的基本手段。语义相近的符号在向量空间中距离更近，例如"猫"
- 预训练 - 【基本释义】在大规模无标注语料上训练模型基础能力的阶段，与下游微调相对。预训练让模型学习语言规律、世界知识与推理能力，是"先用海量数据打底、再按任务精修"这一现
- 上下文窗口 - 【基本释义】模型一次能处理的 Token 总数上限，即"一次性看完"的文本长度。窗口越长，模型能吸收的书籍、论文、代码与对话历史就越多，直接决定可处理任务的复杂
- 大语言模型 - 【基本释义】大语言模型（Large Language Model，LLM）是基于Transformer架构、在海量文本语料上进行大规模预训练得到的超大规模神经网
- 基础模型 - 【基本释义】在海量数据上大规模预训练而成、具备广泛通用能力的模型，可作为各类下游任务的底座。它不针对单一任务，而是通过微调、提示或对齐适配到对话、写作、代码、翻
- 上下文学习 - 【基本释义】大模型无需更新权重、仅通过在提示中提供示例（演示）就能学会执行新任务的能力：把任务示范放在上下文里，模型"现学现用"，是提示工程的基础机制。
【技术
- 零样本学习 - 【基本释义】模型在没有见过任何该任务示例的情况下直接执行的能力：仅凭指令/描述理解任务并完成（如"翻译这句话"），体现模型对任务理解与知识迁移的深度。
【技术要
- 少样本学习 - 【基本释义】仅用少量示例（通常 1-数十个）就能让模型学会新任务的学习范式：在提示中放入示例（少样本 ICL）或小规模微调，适应标注稀缺的场景。
【技术要点】两
- 提示词 - 【基本释义】用户输入给大模型的指令文本，包含任务描述、上下文、示例与格式要求等，是人与模型交互的接口。提示词的质量直接决定输出质量，"如何提问"本身就是一项重要
- 潜在空间 - 【基本释义】模型内部用于表示数据的低维连续向量空间。原始数据（图像、文本、音频）被编码器压缩为潜在向量，这些向量承载数据的关键语义信息，是生成模型与表示学习的中
- MoE 路由 - 【基本释义】混合专家模型中决定每个 Token 由哪些专家处理的门控机制。路由的质量决定专家利用率、负载均衡与整体效果，是 MoE 设计的核心。
【技术要点】实
- 多头注意力 - 【基本释义】把注意力拆成多个并行的「头」，每个头在不同子空间学习不同的关注模式，再把结果拼接投影。它让模型能同时关注语法、指代与语义等多种关系，是 Transf
- 分组查询注意力 - 【基本释义】让多个查询头共享同一组键值头的注意力结构（GQA）。相比每头独立 KV（MHA），KV 缓存显著减小；相比全共享（MQA），质量损失更小，是长上下文
- 旋转位置编码 - 【基本释义】用旋转矩阵把位置信息注入注意力的相对位置编码方案，实现简单且天然表达相对距离。通过调高旋转底数即可把上下文窗口外推到更长，是长上下文模型的标准组件。
- 状态空间模型 - 【基本释义】基于线性状态空间方程建模序列的模型家族，将序列变换表示为可递推的动态系统。SSM 以恒定内存流式处理任意长序列，是注意力之外的重要架构路线。
【技术
- 扩散语言模型 - 【基本释义】把扩散生成范式用于文本的大语言模型，通过多轮并行去噪而非逐 Token 自回归来产出文本。理论上可让生成并行化、显著降低延迟，是 2025 年以来的
- 生成对抗网络 - 【基本释义】由生成器与判别器相互博弈训练的生成模型，判别器负责分辨真假、生成器负责骗过它。它曾主导图像生成，如今多与扩散模型或超分模块结合使用。
【技术要点】该
- 变分自编码器 - 【基本释义】把输入编码为潜在分布再采样解码重建的自编码器，损失中带有对潜在分布的约束。它为扩散模型提供了压缩的潜在空间，是潜空间扩散的基础组件。
【技术要点】该
- 卷积神经网络 - 【基本释义】以卷积核在空间上共享权重、逐层提取局部特征的网络结构，具备平移不变性。它是计算机视觉的经典骨干，至今仍广泛用于检测、分割与端侧小模型。
【技术要点】
- 循环神经网络 - 【基本释义】按时间步递归传递隐藏状态的序列模型，参数在时间上共享。它存在长程依赖梯度消失问题且无法并行训练，在主流 NLP 任务中已被 Transformer
- 长短期记忆网络 - 【基本释义】通过输入门、遗忘门与输出门控制信息流动的 RNN 变体，显著缓解了梯度消失。它长期是序列建模的主流，至今仍用于时序预测、语音与轻量端侧场景。
【技术
- 编码器-解码器 - 【基本释义】由编码器把输入压缩成表示、解码器据此生成输出的架构范式，天然适合翻译、摘要等序列到序列任务。它是 Transformer 论文最初采用的结构。
【技
- 仅解码器架构 - 【基本释义】只保留解码器堆叠、以自回归方式预测下一个 Token 的架构，训练目标与生成方式完全一致。它是当今几乎所有主流大语言模型的标准形态。
【技术要点】该
- 线性注意力 - 【基本释义】将 Softmax 注意力替换为线性核的注意力变体，把计算复杂度从序列长度的平方降为线性，使长序列处理在计算上可行。
【技术要点】核心思想：把注意力
- 混合深度 - 【基本释义】让每个 Token 动态决定是否经过某一层计算的稀疏化架构，相当于在深度维度上做条件计算。它用更少的算力达到相近效果，是提升推理效率的架构级思路之一
- 字节潜变量变换器 - 【基本释义】Meta 提出的无分词器架构，直接在字节序列上按信息量动态分块建模，不依赖固定词表。它绕开了分词带来的多语言不公平与拼写鲁棒性问题，是分词范式的直接
- 层归一化 - 【基本释义】对单个样本的特征维度做归一化并学习缩放平移参数，使各层输入分布稳定。它是 Transformer 的标准组件，Pre-LN 与 RMSNorm 等变
- 残差连接 - 【基本释义】把子层输入直接加到其输出上的短路连接，为梯度提供直通路径。它使上百层乃至上千层的网络可以被稳定训练，是深度学习能走向「深」的关键技巧。
【技术要点】
- 微调 - 【基本释义】在预训练模型基础上，用目标任务的数据继续训练（更新全部或部分参数），使模型适配特定任务/领域的技术；预训练提供通用知识，微调负责"最后一步"的能力对
- 监督微调 - 【基本释义】使用标注数据（输入-期望输出对）对预训练模型进行有监督训练的阶段：大模型训练流水线（预训练→SFT→RLHF）中的关键环节，让模型学会"按指令产出正
- 指令微调 - 【基本释义】用大量"指令-回答"样本训练模型遵循自然语言指令的方法：将各类任务统一为指令形式（"请总结…""翻译…"），显著提升模型的零样本泛化能力，是 Ins
- 持续预训练 - 【基本释义】在通用预训练之后，用领域语料继续无监督训练（自监督损失）的阶段：让模型补充学习行业知识（医学术语、法律条文、代码规范），再进入监督微调，是行业大模型
- RLHF - 【基本释义】基于人类反馈的强化学习：先让人类对模型输出排序/打分训练奖励模型，再用强化学习（PPO 等）优化策略模型，使输出符合人类偏好（有用、无害、诚实），是
- RLAIF - 【基本释义】基于 AI 反馈的强化学习：用 AI 模型（如 Claude 作为"法官"）替代人类为模型输出打分/排序，再以 RLHF 同类流程优化模型；Anth
- DPO - 【基本释义】直接偏好优化：直接从偏好数据（好/坏回答对）训练模型，无需显式奖励模型与 RL 采样循环的对齐方法；通过闭式最优策略重参数化，将 RLHF 简化为分
- PPO - 【基本释义】近端策略优化：强化学习主流算法，用裁剪的代理目标限制策略更新幅度（clip 机制），兼顾样本效率与训练稳定性，是 RLHF/RLVR 训练语言模型的
- GRPO - 【基本释义】Group Relative Policy Optimization：强化学习优化算法，在一个提示的多个采样输出组内做相对优势估计（无需单独价值网络
- 知识蒸馏 - 【基本释义】将大模型（教师）的知识迁移到小模型（学生）的技术：用小模型学习大模型的输出分布（软标签/概率），实现"能力压缩"，让小模型以更低成本接近大模型效果。
- 缩放定律 - 【基本释义】描述模型性能（损失）随参数量、数据量、算力呈幂律关系变化的经验规律：给定算力预算可预测模型效果并指导资源分配，支撑了"更大更强"的大模型路线，近年重
- 反向传播 - 【基本释义】神经网络训练的核心算法：利用链式法则从输出层向输入层逐层计算损失对各参数的梯度，配合梯度下降更新权重；深度学习"能训练"的根本机制。
【技术要点】原
- 梯度下降 - 【基本释义】通过沿损失函数负梯度方向迭代更新参数来最小化损失的最优化算法：深度学习的"引擎"，配合反向传播计算梯度，衍生出 SGD、Adam 等变体。
【技术要
- 学习率 - 【基本释义】梯度下降中每次参数更新的步长（η）：决定模型收敛速度与最终性能的关键超参数，过大导致发散/震荡，过小导致收敛缓慢，通常配合调度策略动态调整。
【技术
- 过拟合 - 【基本释义】模型在训练集上表现优异但泛化到新数据时表现差的现象：模型"背下"训练样本的噪声与细节而非学习通用规律，是机器学习中最常见的问题之一。
【技术要点】成
- 奖励模型 - 【基本释义】RLHF 中预测人类偏好得分的模型：对人类标注的偏好数据（回答对排序）训练，为强化学习提供奖励信号，是"人类价值观"的数学化代理。
【技术要点】训练
- RLVR - 【基本释义】基于可验证奖励的强化学习：用客观可验证的结果（数学答案、代码测试通过、事实检索）作为奖励信号，替代人类偏好打分，训练模型的推理能力（DeepSeek
- 模型合并 - 【基本释义】将多个针对不同任务微调的模型权重融合为一个模型的技术，让单一模型同时具备多种能力，无需重新训练或多模型部署。
【技术要点】方法：权重插值（直接平均/
- KV Cache - 【基本释义】自回归生成时缓存已算过的键和值，避免每生成一个 Token 都重算整个前缀。它把生成复杂度从平方级降到线性级，但也让显存占用随上下文长度线性增长，是
- 投机解码 - 【基本释义】让一个廉价的小模型先草拟若干 Token，再让大模型一次并行校验并接受其中正确的部分。它在数学上保证输出分布不变，却能把生成速度提升数倍，是当下最主
- 前缀缓存 - 【基本释义】把多请求共有的提示前缀（如系统提示、长文档）的 KV Cache 复用起来，只计算各自不同的部分。在系统提示很长或多轮对话场景下能显著降低首 Tok
- 提示缓存 - 【基本释义】缓存输入前缀的 KV 状态，使重复请求跳过重算的推理优化。对话延续、系统提示、RAG 文档场景收益显著，主流 API 已按缓存价格计费。
【技术要点
- PD 分离 - 【基本释义】把推理拆成算力密集的预填充阶段与显存密集的解码阶段，分别部署到不同机器上，各自配置最合适的硬件与并行策略。它是大规模推理集群提升利用率与稳定性的主流
- 首 Token 延迟 - 【基本释义】从发出请求到收到第一个输出 Token 的时间，直接决定用户感知的响应速度。它主要由预填充阶段决定，受输入长度、前缀缓存命中与否影响很大。
【技术要
- 端侧AI - 【基本释义】把模型直接跑在手机、PC、车机等终端本地，不依赖云端。它带来低延迟与数据不出设备的隐私优势，配合小模型与量化技术已在输入法、相册与语音助手等场景大规
- 温度采样 - 【基本释义】在 softmax 前对 logits 除以温度系数来控制输出随机性：温度接近 0 趋于确定性输出，温度越高越发散。它是调节生成创造性与稳定性的第一
- Top-p 采样 - 【基本释义】只从累积概率达到 p 的最小候选集合中采样，动态裁剪掉长尾低概率 Token。它比固定 Top-K 更适应不同分布的上下文，是生产环境中最常用的采样
- 结构化输出 - 【基本释义】约束模型严格按给定 JSON Schema 等格式输出，由解码阶段的语法约束保证字段与类型合法。它让模型输出可以直接被程序消费，是 Agent 与业
- 模型服务 - 【基本释义】把模型封装成可弹性扩缩、可观测、可灰度的高可用在线服务，涵盖批处理调度、显存管理、限流与多模型路由。它是模型从实验走向生产之间的工程鸿沟。
【技术要
- 张量并行 - 【基本释义】把单层内部的矩阵运算切分到多张卡上并行执行，用于让单层参数量超出单卡显存的大模型跑起来。它通信频繁，通常只在单机内多卡之间使用。
【技术要点】推理服
- 流水线并行 - 【基本释义】把不同层切分到不同设备上，让多个微批次像流水线一样依次穿过各段，从而同时利用所有设备。它以少量流水线气泡换取跨机扩展能力。
【技术要点】推理服务的核
- 数据并行 - 【基本释义】每张卡持有完整模型副本、各自处理不同数据批次，再通过全归约同步梯度。它实现简单、扩展性好，是大模型训练最基础的并行方式。
【技术要点】推理服务的核心
- 专家并行 - 【基本释义】将混合专家（MoE）模型的专家层分布在多设备上、按 Token 路由计算的并行策略。它把"参数量"与"计算量"解耦，实现千亿级参数的分布式训练推理。
- 思维树 - 【基本释义】将推理过程建模为树形搜索的策略：在每一步生成多个候选思路、评估取舍、回溯重试，比线性思维链更接近人类的复杂思考。
【技术要点】流程：问题分解为步骤
- 推理时计算 - 【基本释义】在推理阶段投入更多计算换取更高质量输出的策略：多次采样、验证、搜索与反思。它是"训练时算力"之外的第二个规模轴，催生了推理模型。
【技术要点】形式：
- 长上下文 - 【基本释义】模型一次处理的输入长度，扩展到数万至百万 Token 的能力。长上下文让"整本书、整个代码库、整场会议"进入模型视野，是 Agent 与 RAG 的
- AI 原生 - 【基本释义】从设计之初就以 AI 为核心的产品/企业/流程：AI 不是附加功能而是基础设施（如 AI 原生产品：对话即界面、个性化生成、自主 Agent），代表
- 神经网络 - 【基本释义】受生物神经系统启发、由大量参数化单元（神经元）分层连接而成的计算模型。每层对输入做加权求和与非线性变换，通过反向传播从数据中自动学习特征与规律，是深
- 深度学习 - 【基本释义】以多层神经网络为核心、通过大量数据自动学习层次化表示的机器学习方法。它无需人工设计特征，低层学基础模式、高层学抽象语义，是当前大模型、自动驾驶、人脸
- 机器学习 - 【基本释义】让计算机从数据中自动学习规律、无需显式编程即可做出预测或决策的学科。核心思想是从大量样本中归纳模式并泛化到未见数据，是人工智能的主流实现路径，深度学
- 监督学习 - 【基本释义】使用带标注数据（输入-输出对）训练模型的学习范式。模型从"标准答案"中学习输入到输出的映射，训练后能对未见输入给出预测。分类（识别类别）与回归（预测
- 无监督学习 - 【基本释义】在没有标注的情况下，仅从数据本身的结构中学习规律的学习范式。典型任务包括聚类（发现分组）、降维（压缩表示）与异常检测；大模型的预训练本质上就是超大规
- 强化学习 - 【基本释义】智能体通过与环境的交互、依据奖励信号试错学习最优策略的机器学习范式。它不依赖标注答案，而是从"做-得到反馈-调整"中学习，是游戏 AI、机器人控制与
- 迁移学习 - 【基本释义】将模型在源任务（大规模预训练）学到的知识迁移到目标任务（小规模下游）的学习范式：预训练+微调是其典型形态，让标注稀缺的任务也能获得强大能力。
【技术
- 欠拟合 - 【基本释义】模型在训练数据上表现不佳、未能学到足够规律的状态，通常源于模型容量不足、训练不充分或特征表达欠缺。与过拟合相对，欠拟合意味着模型"过于简单"，无法捕
- 正则化 - 【基本释义】抑制模型过拟合、提升泛化能力的技术集合。通过对复杂度施加惩罚或引入随机性，正则化让模型在训练数据上"不过度记忆"噪声，从而对未见数据表现更稳定，是深
- 激活函数 - 【基本释义】神经网络中给每个神经元的加权求和结果施加的非线性变换，是网络能学习复杂模式的关键。没有激活函数，多层网络会退化成单层线性变换，无法逼近任何非线性映射
- 损失函数 - 【基本释义】衡量模型预测与真实目标之间差距的函数，是训练优化的唯一信号来源。模型通过最小化损失（梯度下降）调整参数。不同任务选用不同损失：分类用交叉熵、回归用均
- 批次 - 【基本释义】训练中一次性输入模型的样本组，梯度在整批样本的损失均值上计算后更新一次参数。批次大小（Batch Size）是训练的关键超参数，直接影响显存占用、收
- 轮次 - 【基本释义】模型完整遍历一遍训练数据集称为一个轮次。训练通常进行多个轮次，每轮后模型对数据的学习更进一步；轮次数量决定"训练多久"，过多会过拟合，过少则欠拟合。
- 嵌入向量 - 【基本释义】将离散对象（词、文档、图像、用户）映射为稠密实数向量，向量间的距离与相似度反映对象语义关系。它与"嵌入"同源，特指作为检索与表示基础的向量化结果，是
- 相似度搜索 - 【基本释义】在向量集合中查找与查询向量最接近的项的过程，是语义检索的基本操作。与关键词匹配不同，它基于向量空间的语义距离（余弦、欧氏），能命中语义相近但字面不同
- 特征工程 - 【基本释义】从原始数据中构造、选择与变换供模型学习的输入特征的实践。在传统机器学习中决定模型上限，是数据科学家的核心工作；深度学习与大模型通过表示学习自动提取特
- 数据增强 - 【基本释义】通过对原始数据施加变换（旋转、裁剪、加噪、改写、回译等）生成多样新样本，扩大训练集并提升模型泛化能力的技术。它是视觉、语音、NLP 训练的标准组件，
- 过参数化 - 【基本释义】模型参数量远超训练样本量的状态。直觉上应严重过拟合，但现代神经网络在大规模过参数化下反而泛化良好，这一"过参数化之谜"是深度学习理论的核心现象，也是
- 稀疏激活 - 【基本释义】模型每次推理只激活一部分参数或神经元、其余保持静默的机制。它让模型在总参数量巨大时仍保持合理计算量，是混合专家（MoE）架构与高效大模型的核心设计，
- 注意力头 - 【基本释义】多头注意力中并行运行的注意力子模块：每个头在自己的子空间（独立 Q/K/V 投影）学习不同类型的关注模式（语法、指代、语义、位置等），多头的输出拼接
- 位置编码 - 【基本释义】向模型注入序列位置信息的机制。自注意力本身不具备顺序概念，位置编码让模型知道"第几个位置"，是 Transformer 能处理有序序列的必要组件，其
- 掩码 - 【基本释义】在模型计算中隐藏或屏蔽部分信息的技术：编码器语言模型（如 BERT）用掩码遮住词元做预测，自回归模型用因果掩码保证只关注过去，注意力计算用填充掩码排
- 前馈网络 - 【基本释义】Transformer 中每个注意力层之后的逐位置全连接网络，由两次线性变换夹一个激活函数构成，负责对每个位置的表示做非线性变换与信息加工。它占据
- 交叉熵 - 【基本释义】衡量两个概率分布差异的损失函数，分类任务与语言模型的标准目标。它由信息论导出，对预测置信度敏感，梯度形式简洁，配合 Softmax 构成神经网络分类
- 采样 - 【基本释义】生成文本时从模型输出的概率分布中选择 Token 的策略。直接取最高概率（贪心）会单调重复，采样则引入随机性，使输出多样自然。采样策略与温度是控制生
- 束搜索 - 【基本释义】在每一步保留 Top-K 个最优部分序列（束）并逐步扩展、最终选出整体得分最高完整序列的解码算法。相比贪心解码只看局部，束搜索近似全局最优，常用于机
- 贪心解码 - 【基本释义】每一步都选择概率最高的 Token 的解码方式。输出确定、实现简单、速度最快，但易陷入重复与局部最优，多样性差。
【技术要点】特点：temperat
- 少样本提示 - 【基本释义】在提示词中放入少量输入-输出示例，引导模型模仿示例格式与逻辑完成任务的提示方法。它比零样本更稳定，是提示工程的基本技术，也是上下文学习的直接应用。
- 零样本提示 - 【基本释义】不提供任何示例、仅用任务描述（指令）让模型直接执行的提示方式。它依赖模型预训练积累的通用能力，是最便捷的调用方式，适合快速验证与简单任务。
【技术要
- 人类反馈 - 【基本释义】以人类评价或偏好作为信号优化模型的方法，是 RLHF（基于人类反馈的强化学习）的基础。人类标注员比较模型输出、打分或修正内容，形成奖励信号引导模型对