神经网络

英文：Neural Network　分类：foundation

基本释义

受生物神经系统启发、由大量参数化单元（神经元）分层连接而成的计算模型。每层对输入做加权求和与非线性变换，通过反向传播从数据中自动学习特征与规律，是深度学习的基本构件，也是大模型的最底层形态。

技术要点

基本结构为输入层、隐藏层与输出层，层间以权重矩阵连接并叠加激活函数（如 ReLU、GELU）引入非线性；训练通过损失函数度量误差、反向传播计算梯度、优化器（SGD、Adam）更新权重。深度（层数）与宽度（每层单元数）共同决定模型容量。

发展脉络

1943 年 McCulloch-Pitts 提出形式神经元，1986 年反向传播普及，2012 年 AlexNet 在 ImageNet 夺冠开启深度学习时代，2017 年后 Transformer 神经网络演进为大模型主干。

应用场景

覆盖视觉识别、语音、推荐、游戏、科学计算等几乎所有 AI 场景；工业界通过深度学习框架（PyTorch、TensorFlow）构建、训练与部署神经网络，是大模型应用的工程基石。

返回AI百科目录 · AI最前沿首页

相关词条：Transformer · 注意力机制 · 自注意力 · 智能体平台 · 深度学习