英文：Sequence Parallelism 分类：architecture
把序列维度切分到多个设备上的并行训练技术，解决长序列训练的单卡显存瓶颈，与张量并行配合处理超长上下文。
实现：将序列分块，注意力（跨块通信）与 FFN（逐块计算）分开处理，通信发生在关键节点（如 Megatron-LM 的 SP 方案、Ring Attention）；配合 FlashAttention 与激活重计算实现百亿级长序列训练。
用于超长上下文大模型训练（256K+ Token）、多模态视频训练与大规模预训练集群；是"上下文即算力"时代的基础并行策略。