自己回帰(autoregressive)とは、それまでの出力を条件として次の値を予測するモデル構造や生成方式を指す。言語モデルでは、すでに生成したトークンをすべて入力として次のトークンの確率分布を計算し、そこから一つを選んで末尾に加える処理を繰り返してテキストを生成する。
GPT系をはじめとする大規模言語モデルの多くは自己回帰方式でテキストを生成する。トークンを一つずつ順に生成するため、計算量は出力の長さに比例して増え、生成速度とコストを左右する主要な要因となる。統計学では、時系列の過去の値で現在の値を説明する自己回帰モデルを指す。