草稿模型

英文：Draft Model　分类：inference

基本释义

投机采样中负责快速生成候选 Token 的小模型。它"猜"出大模型可能接受的文本，再由大模型并行验证，实现无损加速。

技术要点

要求：速度远快于大模型（小、快）、接受率高（与大模型分布接近）；获取：同族小模型、大模型蒸馏版、自投机（大模型浅层分块）。加速比=接受率×草稿速度/验证开销。

应用场景

用于 LLM 推理加速（配合投机采样）、端侧/服务端延迟优化；草稿+验证范式是"又快又准"的经典工程组合。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 短思考 · 目标模型