英文:Dense Model 分类:architecture
每个输入都激活全部参数的模型,即经典 Transformer 形态。与稀疏 MoE 模型相对,稠密模型结构简单、训练稳定,但同等参数下推理算力更高。
特点:所有参数参与每个 Token 计算,无路由与专家调度,工程实现简单;参数量=计算量正相关(训练成本随规模线性增长)。对比:MoE 用更多参数+更少激活算力。
用于大多数中小模型与通用模型(GPT、Llama、Qwen 的基础形态)、端侧部署(结构简单易量化)与需要稳定训练的场景;"稠密 vs 稀疏"是规模化的核心取舍。