英文：Sparse Activation 分类：foundation
模型每次推理只激活一部分参数或神经元、其余保持静默的机制。它让模型在总参数量巨大时仍保持合理计算量，是混合专家（MoE）架构与高效大模型的核心设计，兼顾容量与效率。
MoE 将网络拆分为多个专家子网络，门控网络（Router）为每个 Token 选择 Top-K 专家；稀疏激活配合负载均衡损失避免专家过载。其他形式包括 ReLU 引发的神经元稀疏、稀疏注意力（只计算部分位置对）与结构化剪枝。
2017 年 Sparsely-Gated MoE 提出，2022 年后 Mixtral、DeepSeek-V3、Qwen-MoE 等证明稀疏激活可在低算力下达到稠密大模型效果，成为千亿参数模型的主流架构选择。
超大模型训练与推理（MoE 千亿参数）、长序列处理与边缘端高效部署；工程上关注专家路由均衡、显存驻留策略（专家在多个 GPU 间调度）与批处理吞吐优化。
相关词条：Transformer · 注意力机制 · 自注意力 · 过参数化 · 注意力头