解码阶段

英文：Decode Phase　分类：inference

基本释义

推理服务逐 Token 生成输出的阶段，每个 Token 依赖前一个（自回归），只能串行计算。长输出请求的时间主要消耗在此阶段。

技术要点

特性：访存密集（读全量 KV+权重算一个 Token）、并行度受限；优化：KV 缓存复用、连续批处理（多请求交错解码）、投机采样（并行验证）与量化（降带宽）；指标 TPOT（每 Token 延迟）。

应用场景

用于长文生成（报告、代码）、对话多轮与流式输出；解码阶段是"吞吐与延迟"工程优化的主战场。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 上下文预填充 · 视觉定位