英文：Gated GELU 分类：architecture
使用 GELU 作为门控激活的门控线性单元变体，在 2021 年被证明优于 ReLU 门控的 GLU，随后成为高质量 Transformer 的标准组件。
实现：将 GLU 的 Sigmoid 门替换为 GELU，公式为 (GELU(Wa x)) ⊙ (Wb x)；训练中配合更好的收敛与更低损失。被 GPT-J、PaLM 等采用，之后 SwiGLU 亦为常见替代。
用于大模型前馈网络与各类 Transformer 实现；在开源模型（GPT-J、LLaMA 系）中被广泛选用，是架构"食谱"中的关键项。