张量核

英文:Tensor Core 分类:infra

基本释义

GPU 中专门执行矩阵乘加运算的硬件单元(NVIDIA 引入),以低精度(FP16/BF16/FP8/INT8)混合精度大幅加速神经网络计算。

技术要点

原理:一个指令完成 4x4 矩阵乘加(MMA),配合混合精度与稀疏支持(2:4 结构);性能:A100 FP16 张量算力≈312 TFLOPS(普通 CUDA 核心的 8 倍+);编程:cuBLAS/cuDNN/自定义 PTX。

应用场景

用于大模型训练(Transformer 矩阵乘)、推理加速(量化)与科学计算(HPC 矩阵);张量核是"GPU 算力翻倍"的硬件引擎。

返回AI百科目录 · AI最前沿首页

相关词条:词元服务 · 超节点 · 训练集群 · 专用集成电路 · CUDA Core