上下文预填充

英文:Prefill Phase 分类:inference

基本释义

推理服务处理输入提示、计算所有输入 Token 的 KV 缓存的阶段。预填充是并行的(一次处理全部输入),长上下文请求的延迟主要发生在此阶段。

技术要点

特性:计算密集、可并行度高(矩阵乘);长输入下延迟线性增长;优化:预填充/解码分离调度(分阶段批处理)、并行预填充(多卡分块)、前缀缓存(重复输入跳过);监控指标 TTFT(首 Token 延迟)主要由预填充决定。

应用场景

用于长上下文问答(RAG 大文档)、对话首轮与批量输入处理;预填充优化直接改善"用户等第一个字"的体验。

返回AI百科目录 · AI最前沿首页

相关词条:KV Cache · 投机解码 · 前缀缓存 · 温度退火 · 解码阶段