预训练pretraining
利用大规模数据先训练模型基础能力的阶段。
5篇文章
最近提及 预训练指利用大规模数据先让模型学习通用能力的阶段。大语言模型的典型做法是在海量文本上学习预测下一个token，之后再通过微调或进一步训练使模型适应特定用途。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
涉及该条目的文章
而现代模型的基础推理能力是通过预训练“培养”出来的，预训练是在海量数据上进行的大规模学习阶段；微调和后训练则是事后附加的步骤，用来塑造模型的行为。
预训练是让模型根据前面的词元（token，模型处理文本的小单位）预测下一个词元。
刚性物体的抓取放置是例外，借助在海量数据上预训练的大型基础模型，这类任务的可靠性已接近商用水平。
2026年9月，Anthropic一名预训练研究员辞职，并发帖指责领先的实验室正鲁莽地竞相开发能够自我改进的超级智能，帖子迅速传播。