限流

英文：Rate Limiting　分类：infra

基本释义

限制客户端在单位时间内的请求次数/速率的机制，防止超载、滥用与成本失控，保障服务稳定与公平使用。

技术要点

算法：令牌桶（平滑突发）、漏桶（恒定速率）、滑动窗口（精确计数）；维度：按 IP/用户/Key/租户；实现：Redis 计数、网关中间件；响应：429 + Retry-After；搭配：配额（总量）与熔断（失败保护）。

应用场景

用于 LLM API 服务（按 Key 限流计费）、登录防爆破、爬虫防护与云服务配额管理；限流是"服务不被冲垮"的第一道防线。

返回AI百科目录 · AI最前沿首页

相关词条：词元服务 · 超节点 · 训练集群 · 并发数 · 熔断