监督微调(SFT)是一种后训练技术,用由“指令—示范回答”对组成的对话数据训练已完成预训练的基础模型。数据通常包含数万到数十万条由人工标注者编写或由其他模型合成的示例,每条回答以停止标记结尾。经此训练的模型被称为instruct模型或聊天模型,具备一致的助手人格,并在回答完成后停止生成。
由于SFT是模仿参考答案的监督学习,它区别于依据奖励信号学习的强化学习方法(如RLHF、GRPO)。典型的LLM后训练先通过SFT植入格式与行为方式,再用RL打磨偏好和推理能力。狭义上,该术语也泛指用特定任务或领域数据对模型进行追加训练的微调。