BF16

英文:BF16 分类:architecture

基本释义

Brain Float 16:与 FP32 有相同指数位(8 位)的 16 位浮点格式,保持大数值范围、牺牲尾数精度。因免于溢出问题,成为大模型训练的主流精度。

技术要点

特点:动态范围同 FP32(约 1e-38~3.4e38),尾数仅 7 位;训练无需损失缩放,梯度稳定;硬件支持(A100/H100/国产卡)成熟,配合 FP32 主权重训练效果接近全精度。

应用场景

用于 LLM 预训练/微调(Llama、Qwen 等默认 BF16)、推理(BF16 权重)与分布式训练;是大模型"精度-性能"平衡的行业标准。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 混合精度训练 · FP8