autoregressive

자기회귀

앞서 생성한 출력을 다음 입력으로 삼아 token을 하나씩 순서대로 만드는 모델 구조나 생성 방식이다.

기사 1편최근 언급

autoregressive(자기회귀)는 이전까지의 출력을 조건으로 다음 값을 예측하는 모델 구조나 생성 방식이다. 언어 모델에서는 앞서 만든 token을 모두 입력으로 받아 다음 token의 확률 분포를 계산하고, 그중 하나를 뽑아 이어 붙이는 과정을 반복해 텍스트를 생성한다.

GPT 계열을 비롯한 대부분의 대규모 언어 모델이 autoregressive 방식으로 텍스트를 생성한다. token을 하나씩 순서대로 만들기 때문에 출력 길이에 비례해 계산이 늘어나며, 이는 생성 속도와 비용을 결정하는 주요 요인이다. 통계학에서는 시계열의 과거 값으로 현재 값을 설명하는 자기회귀 모델을 가리킨다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • decision model, 텍스트 대신 확률로 agent 판단을 맡기는 설계AI 활용 ·

    일반 chat 모델은 autoregressive(앞서 만든 token을 보고 다음 token을 하나씩 만드는) loop를 돕니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.