量化感知训练

英文:Quantization-Aware Training 分类:architecture

基本释义

在训练/微调过程中模拟量化误差,让模型适应低精度表示的技术。相比训练后量化,QAT 在低比特下保持更高精度。

技术要点

实现:前向中插入伪量化(round+clamp,STE 直通梯度)、逐层/逐通道缩放学习、配合蒸馏(教师 FP16→学生 INT4);训练成本高于 PTQ 但 4-bit 场景收益显著。

应用场景

用于 INT4/INT8 高精度部署(大模型本地化)、边缘芯片(NPU 固定精度)与低延迟服务;与 LoRA 微调结合实现"低成本量化适配"。

返回AI百科目录 · AI最前沿首页

相关词条:MoE 路由 · 多头注意力 · 分组查询注意力 · 低比特量化 · 专家负载均衡