レート制限rate limiting
レート制限は、一定時間内に1人の利用者や1つのプログラムが送れるリクエストの数を制限する手法である。
レート制限は、APIやWebサービスが一定時間内に受け付けるリクエストの数を、利用者、APIキー、IPアドレスなどの単位で制限する手法である。サーバーの過負荷や乱用を防ぎ、複数の利用者に資源を公平に割り当てるために使われる。上限を超えたリクエストは拒否されるか遅らせて処理され、HTTPでは一般に429（Too Many Requests）のステータスコードで通知される。
AIモデルのAPIでは、1分あたりのリクエスト数や処理するトークン数に上限を設けることが多い。実装には、トークンバケット、固定ウィンドウ、スライディングウィンドウなどのアルゴリズムが使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
Claudeは、外部システムから切り離して動くハーメチックなシミュレーションテスト、ランダムな入力を与えてバグを探すファザー、レート制限の仕組みを作り、ScionをAnthropicで最も徹底的にテストされたコードベースの1つにしました。
発案を担当するエージェントは、自分のスレッドでプロジェクトの履歴、レート制限、設定ファイルを読み込み、その間もメインのチャットは止まりませんでした。
今回の変更は「半減」と表現されることが多いものの、この言い方には、全体の利用量の比較、GPT-6 Proのメッセージ上限、短時間のレート制限の撤廃という異なる尺度が混ざっています。
エージェントがサイトを操作するにつれて、WebcmdはそのWebサイトのドメインについて、有用な経路、ページ構造、ショートカット、リクエストの制約、レート制限、注意事項を永続的なメモリとして蓄積します。