自己回帰

autoregressive

それまでに生成した出力を条件として次のトークンを一つずつ順に生成するモデル構造や生成方式。

記事1本最終言及

自己回帰(autoregressive)とは、それまでの出力を条件として次の値を予測するモデル構造や生成方式を指す。言語モデルでは、すでに生成したトークンをすべて入力として次のトークンの確率分布を計算し、そこから一つを選んで末尾に加える処理を繰り返してテキストを生成する。

GPT系をはじめとする大規模言語モデルの多くは自己回帰方式でテキストを生成する。トークンを一つずつ順に生成するため、計算量は出力の長さに比例して増え、生成速度とコストを左右する主要な要因となる。統計学では、時系列の過去の値で現在の値を説明する自己回帰モデルを指す。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 決定モデルとしきい値設計でAIエージェントの判断を速く安く確実にするAI活用 ·

    標準的なチャットモデルは自己回帰ループを回します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。