前馈网络

英文：Feed-Forward Network　分类：foundation

基本释义

Transformer 中每个注意力层之后的逐位置全连接网络，由两次线性变换夹一个激活函数构成，负责对每个位置的表示做非线性变换与信息加工。它占据 Transformer 参数的大部分，是模型记忆知识的主要载体。

技术要点

典型结构为 d→4d→d 的升维-激活-降维（如 GELU）；MoE 模型将 FFN 替换为多个专家网络。研究发现 FFN 中存储了大量事实知识（关联记忆），与注意力层（信息路由）分工明确；FFN 的计算量占模型前向的大头。

发展脉络

2017 年随 Transformer 提出标准 FFN；2022 年后 MoE 化 FFN（Mixtral、DeepSeek）与 FFN 压缩（如跨层共享）成为提升效率与容量的方向。

应用场景

所有 Transformer 模型的前向计算主体；工程上 FFN 矩阵乘法与激活融合是算子优化重点，MoE 路由与专家并行也围绕 FFN 展开。

返回AI百科目录 · AI最前沿首页

相关词条：Transformer · 注意力机制 · 自注意力 · 掩码 · 交叉熵