英文：Low-Bit Quantization 分类：architecture
将模型权重（及激活）压缩为 INT8/INT4 等低精度表示的技术，大幅降低显存与推理成本。量化使大模型能在消费级 GPU 与手机上运行。
方法：训练后量化（PTQ：GPTQ、AWQ、RTN）、量化感知训练（QAT）、动态/静态量化与混合精度（敏感层保留高精度）；4-bit 量化（如 GGUF Q4）配合 KV 量化实现"本地跑大模型"。代价是精度损失，需按模型评估。
用于端侧/消费级部署（Llama 本地运行）、高吞吐推理服务（更多并发）与边缘设备（手机、PC）；量化是"模型可用性"的关键工程。