英文:H200 分类:infra
NVIDIA H100的升级版,显存141GB。
AI基础设施的核心是:算力(GPU/NPU)、网络(InfiniBand/RoCE)、存储(并行文件系统Lustre)与调度(Kubernetes+Slurm)。千卡集群需重点关注:网络拓扑(Rail-Optimized)、故障检测与自动迁移、液冷散热PUE。
从2012年AlexNet用2块GTX 580训练,到2020年GPT-3用上万张A100,算力需求增长了超过10万倍;网络也从千兆以太网演进到400G InfiniBand。
云厂商提供按需GPU实例(如阿里云PAI、AWS EC2 P4d),降低了训练门槛;中小团队通常租用云资源,头部企业自建万卡集群以控制成本。