InstructGPT是OpenAI于2022年1月发布的语言模型。它以GPT-3为基础,先用人工撰写的示范回答进行监督微调,再利用人类评估者对多个输出的排序训练奖励模型,并通过强化学习调整模型,即基于人类反馈的强化学习(RLHF)。该方法记录在同年发表的论文《Training language models to follow instructions with human feedback》中。
InstructGPT被认为比原始GPT-3更能遵循用户指令,且不实和有害输出更少,为后来ChatGPT等对话式语言模型广泛采用的RLHF训练方式奠定了基础。