反向代理是部署在客户端与内部服务器之间的服务器,它代替后端接收客户端请求,将请求转发给合适的服务器,再把响应返回给客户端。它是网络服务和网络基础设施中的常见组件。正向代理代表客户端访问外部站点,反向代理则代表服务器一侧,客户端无需知道实际处理请求的服务器地址。
反向代理集中承担多种功能,包括在多台服务器之间分配请求的负载均衡、TLS加密终止、响应缓存与压缩、身份认证、限流以及隐藏内部服务器地址。常见的实现软件有Nginx、HAProxy、Apache HTTP Server、Envoy、Caddy和Traefik,内容分发网络(CDN)也以反向代理的方式工作。
在AI领域,AI网关采用的就是这种结构:在多家模型提供方的API之前设置反向代理,统一处理认证、用量限制、缓存、日志记录和请求分发。