英文:Quantization-Aware Training 分类:architecture
在训练/微调过程中模拟量化误差,让模型适应低精度表示的技术。相比训练后量化,QAT 在低比特下保持更高精度。
实现:前向中插入伪量化(round+clamp,STE 直通梯度)、逐层/逐通道缩放学习、配合蒸馏(教师 FP16→学生 INT4);训练成本高于 PTQ 但 4-bit 场景收益显著。
用于 INT4/INT8 高精度部署(大模型本地化)、边缘芯片(NPU 固定精度)与低延迟服务;与 LoRA 微调结合实现"低成本量化适配"。