H100

英文:H100 分类:infra

基本释义

NVIDIA Hopper架构GPU,支持Transformer引擎。

技术要点

AI基础设施的核心是:算力(GPU/NPU)、网络(InfiniBand/RoCE)、存储(并行文件系统Lustre)与调度(Kubernetes+Slurm)。千卡集群需重点关注:网络拓扑(Rail-Optimized)、故障检测与自动迁移、液冷散热PUE。

发展脉络

从2012年AlexNet用2块GTX 580训练,到2020年GPT-3用上万张A100,算力需求增长了超过10万倍;网络也从千兆以太网演进到400G InfiniBand。

应用场景

云厂商提供按需GPU实例(如阿里云PAI、AWS EC2 P4d),降低了训练门槛;中小团队通常租用云资源,头部企业自建万卡集群以控制成本。

返回AI百科目录 · AI最前沿首页

相关词条:词元服务 · 超节点 · 训练集群 · A100 · H200