AIゲートウェイ

AI gateway

AIゲートウェイは、アプリケーションと複数のAIモデルAPIの間ですべてのリクエストを中継し、認証、利用量管理、ルーティング、監査を一元的に処理するサーバー層である。

記事1本最終言及

AIゲートウェイは、アプリケーションと複数のAIモデルAPIの間に置かれ、すべてのリクエストを中継するサーバー層である。LLMゲートウェイとも呼ばれる。複数のモデルプロバイダーを共通のAPIにまとめ、認証とアクセス制御、利用量計測、コスト管理、リクエストのログと監査、モデル間のルーティングとフォールバック、レート制限、キャッシュといった機能を一元的に処理する。

APIゲートウェイの概念をLLM呼び出し向けに拡張したもので、企業がプロバイダーを切り替えたり複数のモデルを併用したりする際に、個々のアプリを修正せずにポリシーを適用するために使われる。Cloudflare AI Gateway、Portkey、LiteLLM、Bifrostなどがこの分類に含まれる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 個人向けAIエージェントは乗り換え自由、利用者を引き留める強みはAI起業 ·

    複数のモデルにリクエストを振り分けるサービスであるAIゲートウェイの一つでは、2024年7月から2025年10月までのトークン量のうち、誰でもダウンロードできるオープンウェイトモデルが55.8%を占め、クローズドモデルの44.2%を上回りました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。