latency는 컴퓨팅과 네트워크에서 요청이나 신호를 보낸 뒤 응답이 돌아오기까지 걸리는 시간을 뜻한다. 보통 밀리초(ms) 단위로 재며, 일정 시간에 처리하는 작업량을 나타내는 throughput(처리량)과 함께 성능을 평가하는 기본 지표다.
AI 분야에서는 모델에 prompt를 보낸 뒤 첫 token이 나오기까지의 시간(Time To First Token)과 token이 생성되는 속도, 응답 전체가 끝나기까지의 시간이 latency 지표로 쓰인다. AI agent 환경에서는 모델 호출 사이에 끼어드는 hook이나 정책 검사가 latency를 늘리기 때문에, 각 검사 단계에 허용되는 시간 예산을 정해 두는 경우가 많다.