中期训练mid-training

中期训练是大语言模型开发中的一个训练阶段，介于利用海量数据培养通用能力的预训练与通过指令微调或强化学习打磨模型的后训练之间。在这一阶段，模型会继续使用为强化数学、代码、推理或长上下文处理等特定能力而精选的高质量数据进行训练。

它在后训练之前增强基础模型的能力，所用的数据和方法因开发者而异。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。