抢占调度

英文：Preemptive Scheduling　分类：inference

基本释义

推理系统按优先级抢占资源执行任务的调度策略：高优请求插队，低优/长任务暂停或让位，保证 SLO。

技术要点

实现：优先级队列、请求级抢占（低优等待）、迭代级抢占（Token 级暂停）、长任务饥饿保护（老化机制）；配合容量规划避免"抢占风暴"；常用于混合在线/离线负载。

应用场景

用于大模型服务（在线低延迟+离线批处理混合）、多租户资源保障与峰值削峰；抢占调度是"服务质量分层"的工程手段。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 变长批处理 · 显存碎片