模型分片

英文：Model Sharding　分类：inference

基本释义

把模型切分到多张 GPU/多机部署的技术，当单卡放不下模型时（超大参数或超长上下文）必须使用。

技术要点

方式：张量并行（层内切分，卡间通信密集）、流水线并行（按层切分，卡间顺序传递）、专家并行（MoE 路由分布）；推理分片需考虑通信延迟与批处理效率，常与量化结合减少分片需求。

应用场景

用于千亿参数模型推理（多机部署）、超长上下文（KV 显存分摊）与单机多卡加速；分片是"装不下"时的标准解法，成本是通信开销。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 推理并发度 · 动态量化