英文：SwiGLU 分类：architecture
结合 Swish 激活与 GLU（门控线性单元）的激活函数：在 FFN 中引入门控机制（逐元素相乘），提升 Transformer 表达能力，是 Llama、PaLM 等主流大模型的标准激活。
公式：SwiGLU(x)=Swish(xW)·(xV)（门控）；相比 GELU：参数量略增（3 矩阵）但效果更好（训练更稳、困惑度更低）；变体：SiLU 近似 Swish；实现：LLaMA 系 FFN（gate/up/down 三投影）。
用于大模型 FFN 层（Llama 系标配）、训练稳定性提升与激活函数研究；SwiGLU 是"门控激活"的代表实现。