激活函数

英文：Activation Function　分类：foundation

基本释义

神经网络中给每个神经元的加权求和结果施加的非线性变换，是网络能学习复杂模式的关键。没有激活函数，多层网络会退化成单层线性变换，无法逼近任何非线性映射；常见的 ReLU、GELU、Sigmoid 等各有特性。

技术要点

激活函数必须可微（用于反向传播）且计算高效：ReLU 及其变体缓解梯度消失并保持稀疏激活，GELU 在 Transformer 中被广泛使用，Sigmoid/Tanh 常用于输出概率或归一化。选择需考虑梯度特性（如 ReLU 的死亡神经元问题）与数值稳定性（Softmax 的溢出处理）。

发展脉络

从早期 Sigmoid/Tanh 主导，到 2011 年 ReLU 解决梯度饱和、2016 年后 GELU/SiLU 在 Transformer 中流行，激活函数随架构演进不断迭代，是网络设计的基础组件。

应用场景

每个隐藏层与注意力层之后都会施加激活函数；工程上通过量化感知训练与算子融合（如 GELU 与矩阵乘融合）优化推理性能。

返回AI百科目录 · AI最前沿首页

相关词条：Transformer · 注意力机制 · 自注意力 · 正则化 · 损失函数