限流rate limiting
限流是限制单个用户或程序在一定时间内可发送请求数量的技术。
7篇文章
最近提及 限流（rate limiting）是指API或网络服务按用户、API密钥、IP地址等单位，限制一定时间内接收的请求数量的技术，用于防止服务器过载和滥用，并在多个用户之间公平分配资源。超出限额的请求会被拒绝或延后处理，HTTP服务通常用429（Too Many Requests）状态码告知。
AI模型的API通常会对每分钟请求数和处理的token数量设定上限。常见的实现算法包括令牌桶、固定窗口和滑动窗口等。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
涉及该条目的文章
Claude 生成了与外部系统隔绝运行的封闭式仿真测试、通过输入随机数据寻找漏洞的模糊测试工具，以及限流系统，使 Scion 成为 Anthropic 测试最充分的代码库之一。
负责构思的智能体在自己的线程里读取了项目历史、速率限制和配置文件，主聊天窗口始终没有卡住。
OpenAI还把原来的五档速率限制合并为Build、Launch和Grow三档。
2026年10月1日，预印本平台arXiv开始实施新的投稿限流政策，限制单个投稿者可发布的论文数量。
这一变化常被概括为“减半”，但这种说法混合了几种不同的衡量方式：整体用量的比较、GPT-6 Pro的消息上限，以及短时速率限制的取消。
随着智能体在网站上操作，Webcmd 会为该网站的域名建立持久记忆，内容包括有用的路径、页面结构、快捷方式、请求约束、速率限制和注意事项。