AI gateway는 애플리케이션과 여러 AI 모델 API 사이에 놓여 모든 요청을 중계하는 서버 계층이다. LLM gateway라고도 부른다. 여러 모델 제공사를 하나의 공통 API로 묶고, 인증과 접근 제어, 사용량 측정, 비용 관리, 요청 로그와 감사, 모델 간 라우팅과 fallback, 속도 제한, 캐싱 같은 기능을 한곳에서 처리한다.
API gateway 개념을 LLM 호출에 맞게 확장한 것으로, 기업이 모델 제공사를 바꾸거나 여러 모델을 섞어 쓸 때 개별 앱을 고치지 않고 정책을 적용하는 데 쓰인다. Cloudflare AI Gateway, Portkey, LiteLLM, Bifrost 등이 이 범주에 속한다.