英文：Inference Gateway 分类：infra
位于客户端与推理后端之间的服务层，统一处理请求路由、鉴权、限流、负载均衡、缓存与监控，是推理服务的统一入口。
能力：多模型路由（按模型/租户分发）、请求鉴权（API Key）、限流与配额、前缀缓存（KV 复用）、流式转发（SSE）、灰度与故障转移、日志与计量；实现：自研网关或开源（LiteLLM、KServe 入口）。
用于多模型 API 服务（一个入口访问多模型）、多租户计费、企业 LLM 平台与 A/B 分流；推理网关是"LLM 服务化"的中央控制点。