稠密模型

英文:Dense Model 分类:architecture

基本释义

每个输入都激活全部参数的模型,即经典 Transformer 形态。与稀疏 MoE 模型相对,稠密模型结构简单、训练稳定,但同等参数下推理算力更高。

技术要点

特点:所有参数参与每个 Token 计算,无路由与专家调度,工程实现简单;参数量=计算量正相关(训练成本随规模线性增长)。对比:MoE 用更多参数+更少激活算力。

应用场景

用于大多数中小模型与通用模型(GPT、Llama、Qwen 的基础形态)、端侧部署(结构简单易量化)与需要稳定训练的场景;"稠密 vs 稀疏"是规模化的核心取舍。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 共享专家 · 位置插值