latency

지연 시간

요청을 보낸 뒤 응답을 받기까지 걸리는 지연 시간으로, AI 모델에서는 응답 속도를 나타내는 핵심 지표다.

기사 1편최근 언급

latency는 컴퓨팅과 네트워크에서 요청이나 신호를 보낸 뒤 응답이 돌아오기까지 걸리는 시간을 뜻한다. 보통 밀리초(ms) 단위로 재며, 일정 시간에 처리하는 작업량을 나타내는 throughput(처리량)과 함께 성능을 평가하는 기본 지표다.

AI 분야에서는 모델에 prompt를 보낸 뒤 첫 token이 나오기까지의 시간(Time To First Token)과 token이 생성되는 속도, 응답 전체가 끝나기까지의 시간이 latency 지표로 쓰인다. AI agent 환경에서는 모델 호출 사이에 끼어드는 hook이나 정책 검사가 latency를 늘리기 때문에, 각 검사 단계에 허용되는 시간 예산을 정해 두는 경우가 많다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI agent 거버넌스, session 단위 측정과 MCP 정책을 세우는 실무 순서AI 보안 ·

    inline hook이 느리면 Claude나 Codex가 timeout으로 session을 끊으므로 엄격한 latency 예산

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.