autoregressive(자기회귀)는 이전까지의 출력을 조건으로 다음 값을 예측하는 모델 구조나 생성 방식이다. 언어 모델에서는 앞서 만든 token을 모두 입력으로 받아 다음 token의 확률 분포를 계산하고, 그중 하나를 뽑아 이어 붙이는 과정을 반복해 텍스트를 생성한다.
GPT 계열을 비롯한 대부분의 대규모 언어 모델이 autoregressive 방식으로 텍스트를 생성한다. token을 하나씩 순서대로 만들기 때문에 출력 길이에 비례해 계산이 늘어나며, 이는 생성 속도와 비용을 결정하는 주요 요인이다. 통계학에서는 시계열의 과거 값으로 현재 값을 설명하는 자기회귀 모델을 가리킨다.