算力

英文:Computing Power 分类:infra

基本释义

通常以 FLOPS 及其派生单位(如 EFLOPS)衡量,表示每秒可完成的浮点运算次数。大模型训练与推理的算力需求可用参数量、Token 数与训练时长估算,是 AI 基建投资的核心计量口径。

技术要点

AI基础设施的核心是:算力(GPU/NPU)、网络(InfiniBand/RoCE)、存储(并行文件系统Lustre)与调度(Kubernetes+Slurm)。千卡集群需重点关注:网络拓扑(Rail-Optimized)、故障检测与自动迁移、液冷散热PUE。

发展脉络

从2012年AlexNet用2块GTX 580训练,到2020年GPT-3用上万张A100,算力需求增长了超过10万倍;网络也从千兆以太网演进到400G InfiniBand。

应用场景

云厂商提供按需GPU实例(如阿里云PAI、AWS EC2 P4d),降低了训练门槛;中小团队通常租用云资源,头部企业自建万卡集群以控制成本。

返回AI百科目录 · AI最前沿首页

相关词条:词元服务 · 超节点 · 训练集群 · 训练集群 · PUE