英文:Speculative Decoding 分类:architecture
用小模型(草稿模型)快速生成多个候选 Token,再由大模型并行验证接受的解码加速技术。它不改变输出分布(无损加速),是 LLM 推理提速的重要手段。
实现:草稿模型自回归生成 K 个候选 → 大模型一次前向并行验证(打分+接受/拒绝)→ 被拒位置重新采样;变体有自投机(大模型自身分块)、EAGLE(草稿头)、Medusa(多解码头);加速比取决于草稿接受率与模型大小差。
用于高吞吐/低延迟推理服务(配合批处理)、端到端加速与资源受限部署;与量化、KV 压缩叠加实现数量级吞吐提升。