AIゲートウェイは、アプリケーションと複数のAIモデルAPIの間に置かれ、すべてのリクエストを中継するサーバー層である。LLMゲートウェイとも呼ばれる。複数のモデルプロバイダーを共通のAPIにまとめ、認証とアクセス制御、利用量計測、コスト管理、リクエストのログと監査、モデル間のルーティングとフォールバック、レート制限、キャッシュといった機能を一元的に処理する。
APIゲートウェイの概念をLLM呼び出し向けに拡張したもので、企業がプロバイダーを切り替えたり複数のモデルを併用したりする際に、個々のアプリを修正せずにポリシーを適用するために使われる。Cloudflare AI Gateway、Portkey、LiteLLM、Bifrostなどがこの分類に含まれる。