rate limiting요청 속도 제한

rate limiting은 API나 웹 서비스가 정해진 시간 안에 받는 요청의 수를 사용자, API 키, IP 주소 같은 단위로 제한하는 기법이다. 서버 과부하와 남용을 막고 여러 이용자에게 자원을 공평하게 나누는 데 쓰인다. 한도를 넘은 요청은 거부하거나 늦춰 처리하며, HTTP에서는 보통 429(Too Many Requests) 상태 코드로 알린다.

AI 모델 API는 분당 요청 수나 처리하는 token 수에 한도를 두는 경우가 많다. 구현에는 token bucket, fixed window, sliding window 같은 알고리즘이 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.