自回归(autoregressive)指以此前的输出为条件预测下一个值的模型结构或生成方式。在语言模型中,模型把已生成的全部token作为输入,计算下一个token的概率分布,从中采样一个token并拼接到末尾,如此反复直到生成完整文本。
包括GPT系列在内的大多数大语言模型都采用自回归方式生成文本。由于token是逐个按顺序生成的,计算量随输出长度成比例增长,这是决定生成速度和成本的主要因素。在统计学中,该词指用时间序列的过去值解释当前值的自回归模型。
autoregressive
以此前生成的输出为条件、逐个预测下一个token的模型结构或生成方式。
自回归(autoregressive)指以此前的输出为条件预测下一个值的模型结构或生成方式。在语言模型中,模型把已生成的全部token作为输入,计算下一个token的概率分布,从中采样一个token并拼接到末尾,如此反复直到生成完整文本。
包括GPT系列在内的大多数大语言模型都采用自回归方式生成文本。由于token是逐个按顺序生成的,计算量随输出长度成比例增长,这是决定生成速度和成本的主要因素。在统计学中,该词指用时间序列的过去值解释当前值的自回归模型。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
标准聊天模型运行的是自回归循环:在整个词表上计算一个概率分布,采样一个token,追加到末尾,然后重复,直到完整的JSON答案写完并可以解析。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。