GPU 共享

英文：GPU Sharing　分类：infra

基本释义

多个工作负载共享一张 GPU 资源的机制（时间/显存维度），提升 GPU 利用率，是推理与多租户场景的常见需求。

技术要点

方式：时间片共享（交替执行，有切换开销）、显存切分（MIG/vGPU，隔离）、细粒度协同（MPS：并发内核）；权衡：利用率 vs 隔离性与性能干扰；推理引擎（vLLM）通过批处理天然共享。

应用场景

用于推理服务（多模型共享卡）、开发测试（小任务）、云 GPU 降本与边缘设备；GPU 共享是"算力不浪费"的关键机制。

返回AI百科目录 · AI最前沿首页

相关词条：词元服务 · 超节点 · 训练集群 · GPU 虚拟化 · 多租户