英文:Computing Power 分类:infra
通常以 FLOPS 及其派生单位(如 EFLOPS)衡量,表示每秒可完成的浮点运算次数。大模型训练与推理的算力需求可用参数量、Token 数与训练时长估算,是 AI 基建投资的核心计量口径。
AI基础设施的核心是:算力(GPU/NPU)、网络(InfiniBand/RoCE)、存储(并行文件系统Lustre)与调度(Kubernetes+Slurm)。千卡集群需重点关注:网络拓扑(Rail-Optimized)、故障检测与自动迁移、液冷散热PUE。
从2012年AlexNet用2块GTX 580训练,到2020年GPT-3用上万张A100,算力需求增长了超过10万倍;网络也从千兆以太网演进到400G InfiniBand。
云厂商提供按需GPU实例(如阿里云PAI、AWS EC2 P4d),降低了训练门槛;中小团队通常租用云资源,头部企业自建万卡集群以控制成本。