推理芯片

英文:Inference Chip 分类:infra

基本释义

针对推理负载优化的芯片:牺牲训练灵活性换取更高的能效比(TOPS/W)与更低延迟。推理市场规模巨大,专用推理芯片成为主流。

技术要点

优化点:低精度(INT8/FP4)加速、内存带宽(激活/权重搬运)、批量调度、稀疏/剪枝支持;代表:NVIDIA L4/L40S、华为昇腾 310、Google Edge TPU、各类 NPU;与训练芯片的区别:无需大规模互连。

应用场景

用于云端推理服务(API 后端)、端侧推理(手机/PC/汽车)、边缘盒子(安防)与私有化部署;推理芯片是"AI 落地成本"的胜负手。

返回AI百科目录 · AI最前沿首页

相关词条:词元服务 · 超节点 · 训练集群 · CUDA Core · 存算一体