AI gateway

AI 게이트웨이

애플리케이션과 여러 AI 모델 API 사이에서 모든 요청을 중계하며 인증, 사용량 관리, 라우팅, 감사를 한곳에서 처리하는 서버 계층이다.

기사 1편최근 언급

AI gateway는 애플리케이션과 여러 AI 모델 API 사이에 놓여 모든 요청을 중계하는 서버 계층이다. LLM gateway라고도 부른다. 여러 모델 제공사를 하나의 공통 API로 묶고, 인증과 접근 제어, 사용량 측정, 비용 관리, 요청 로그와 감사, 모델 간 라우팅과 fallback, 속도 제한, 캐싱 같은 기능을 한곳에서 처리한다.

API gateway 개념을 LLM 호출에 맞게 확장한 것으로, 기업이 모델 제공사를 바꾸거나 여러 모델을 섞어 쓸 때 개별 앱을 고치지 않고 정책을 적용하는 데 쓰인다. Cloudflare AI Gateway, Portkey, LiteLLM, Bifrost 등이 이 범주에 속한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 로컬 LLM 역할 분담, Coder가 자동화 작업부터 옮긴 이유AI 성능 ·

    2 Bifrost (오픈소스 self-hosted AI gateway) 다중 모델 라우팅 규칙과 endpoint 전환

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.