GLU

英文:Gated Linear Unit 分类:architecture

基本释义

门控线性单元:输出为两个线性投影的逐元素乘积,其中一个经过激活函数作"门"控制信息流。GLU 类结构增强网络表达能力与训练稳定性,是当代 FFN 的标准组件。

技术要点

变体:GLU(Sigmoid 门)、GeGLU(GELU 门,GPT-J/Llama 采用)、SwiGLU(SiLU 门,Llama 2/3 采用)、ReGLU;实现为 FFN 从"升维-激活-降维"变为"双投影-门控-相乘-降维",参数与计算略增但效果与稳定性更好。

应用场景

用于所有主流大模型的 FFN 模块(SwiGLU/GeGLU)、Transformer 变体与深度网络设计;是提升模型质量的标准"配方"之一。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 稀疏注意力 · SwiGLU