英文:State Space Model 分类:architecture
基于线性状态空间方程建模序列的模型家族,将序列变换表示为可递推的动态系统。SSM 以恒定内存流式处理任意长序列,是注意力之外的重要架构路线。
代表:S4(结构化状态空间)、Mamba(选择性扫描,输入相关动态)、Mamba-2(与注意力统一视角);训练可并行(卷积视角)、推理线性递归(低内存)。长程依赖能力在部分基准上超越 Transformer,但全局精确检索仍不如注意力。
用于超长上下文语言模型(百万 Token)、语音/基因组长序列建模与低延迟流式应用;混合架构(SSM+注意力)在 2024-2025 大模型中快速普及。