AI网关

AI gateway

AI网关是位于应用与多个AI模型API之间的服务器层,中继所有请求,并集中处理认证、用量管理、路由和审计。

1篇文章最近提及

AI网关是位于应用与多个AI模型API之间、中继所有请求的服务器层,也称LLM网关。它将多家模型提供商统一到一个通用API之后,并集中处理认证与访问控制、用量计量、成本管理、请求日志与审计、模型间路由与回退、限流和缓存等功能。

它是API网关概念在LLM调用上的延伸,企业在切换提供商或混合使用多个模型时,可借此在不修改各个应用的情况下施加策略。Cloudflare AI Gateway、Portkey、LiteLLM和Bifrost等都属于这一类别。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 个人AI智能体换用无门槛,什么还能留住用户AI创业 ·

    在一个把请求分发到众多模型的AI网关上,2024年7月至2025年10月间,任何人都能下载的开放权重模型占token用量的55.8%,超过了闭源模型的44.2%。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。