英文:Gated Linear Unit 分类:architecture
门控线性单元:输出为两个线性投影的逐元素乘积,其中一个经过激活函数作"门"控制信息流。GLU 类结构增强网络表达能力与训练稳定性,是当代 FFN 的标准组件。
变体:GLU(Sigmoid 门)、GeGLU(GELU 门,GPT-J/Llama 采用)、SwiGLU(SiLU 门,Llama 2/3 采用)、ReGLU;实现为 FFN 从"升维-激活-降维"变为"双投影-门控-相乘-降维",参数与计算略增但效果与稳定性更好。
用于所有主流大模型的 FFN 模块(SwiGLU/GeGLU)、Transformer 变体与深度网络设计;是提升模型质量的标准"配方"之一。