Time To First Token첫 토큰 생성 시간

Time To First Token(TTFT)은 언어모델이 요청을 받은 뒤 prompt(입력 지시문)를 처리하고 첫 token(모델이 다루는 텍스트 단위)을 출력하기까지 걸리는 시간이다. 모델의 초기 응답 지연을 나타내는 지표다.

첫 token 이후의 생성 속도를 나타내는 초당 token 수와는 다른 지표다. 입력 길이와 모델의 처리 환경에 따라 TTFT가 달라질 수 있다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.