英文:Prefill Phase 分类:inference
推理服务处理输入提示、计算所有输入 Token 的 KV 缓存的阶段。预填充是并行的(一次处理全部输入),长上下文请求的延迟主要发生在此阶段。
特性:计算密集、可并行度高(矩阵乘);长输入下延迟线性增长;优化:预填充/解码分离调度(分阶段批处理)、并行预填充(多卡分块)、前缀缓存(重复输入跳过);监控指标 TTFT(首 Token 延迟)主要由预填充决定。
用于长上下文问答(RAG 大文档)、对话首轮与批量输入处理;预填充优化直接改善"用户等第一个字"的体验。