监督微调

supervised fine-tuning

用人工整理的指令与回答示例对预训练语言模型进行追加训练,使其像助手一样作答的后训练阶段。

4篇文章最近提及

监督微调(SFT)是一种后训练技术,用由“指令—示范回答”对组成的对话数据训练已完成预训练的基础模型。数据通常包含数万到数十万条由人工标注者编写或由其他模型合成的示例,每条回答以停止标记结尾。经此训练的模型被称为instruct模型或聊天模型,具备一致的助手人格,并在回答完成后停止生成。

由于SFT是模仿参考答案的监督学习,它区别于依据奖励信号学习的强化学习方法(如RLHF、GRPO)。典型的LLM后训练先通过SFT植入格式与行为方式,再用RL打磨偏好和推理能力。狭义上,该术语也泛指用特定任务或领域数据对模型进行追加训练的微调。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • AI智能体优化指南:改提示词还是训练权重,如何取舍AI性能 ·

    监督微调

    阅读文章
  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    预训练造出一台会续写文本的引擎;监督微调赋予这台引擎助手人格,并教它何时停下;强化学习,尤其是一种名为组相对策略优化(GRPO)的方法,则让模型通过给自己的尝试打分来学会推理。

    阅读文章
  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    中间层是 LLM 适配:监督微调、蒸馏、上下文学习、LoRA(一种通过训练小规模低秩权重更新来低成本微调模型的方法),以及借助 RLHF 或 DPO 进行的偏好对齐。

    阅读文章
  • 开放权重模型仅落后两到三个月,前沿实验室的护城河是推理成本AI资讯 ·

    监督微调 模仿高质量的示例回答 用GPT-4等模型的输出训练,就能接近前沿水平

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。