英文：Mixed Precision Training 分类：architecture
训练中混合使用多种数值精度（FP32 主权重+FP16/BF16 计算）的技术，在不损失精度的前提下提升速度并降低显存，是大模型训练的标配。
实现：前向/反向用低精度（BF16/FP16），优化器状态与主权重保留 FP32；配套损失缩放（FP16 防下溢）与梯度裁剪；BF16 无需缩放且范围大，成为 LLM 主流；FP8 进一步提速但需更精细管理。
用于大模型预训练与微调、分布式训练（降低通信）与算力受限集群；混合精度是"单位显存训练更大模型"的第一手段。