reverse proxy는 클라이언트와 내부 서버 사이에 놓여, 클라이언트의 요청을 대신 받아 알맞은 서버로 넘기고 그 응답을 클라이언트에 돌려주는 서버다. 웹 서비스와 네트워크 인프라에서 널리 쓰인다. 클라이언트 쪽에서 외부 접속을 대신해 주는 forward proxy와 달리 서버 쪽을 대신하며, 클라이언트는 실제로 요청을 처리하는 서버의 주소를 알 필요가 없다.
여러 서버에 요청을 나누는 부하 분산, TLS 암호화 처리, 응답 캐싱과 압축, 인증, 요청 수 제한, 내부 서버 주소 숨기기 같은 기능을 한곳에서 맡는다. 대표적인 소프트웨어로 Nginx, HAProxy, Apache HTTP Server, Envoy, Caddy, Traefik이 있고, CDN(콘텐츠 전송 네트워크)도 reverse proxy 방식으로 동작한다.
AI 분야에서는 여러 모델 제공자의 API 앞에 reverse proxy를 두어 인증, 사용량 제한, 캐싱, 기록, 요청 분배를 처리하는 AI gateway가 이 구조를 따른다.