InstructGPT

InstructGPT是OpenAI于2022年发布的语言模型,通过基于人类反馈的强化学习(RLHF)训练GPT-3遵循指令。

2篇文章最近提及

InstructGPT是OpenAI于2022年1月发布的语言模型。它以GPT-3为基础,先用人工撰写的示范回答进行监督微调,再利用人类评估者对多个输出的排序训练奖励模型,并通过强化学习调整模型,即基于人类反馈的强化学习(RLHF)。该方法记录在同年发表的论文《Training language models to follow instructions with human feedback》中。

InstructGPT被认为比原始GPT-3更能遵循用户指令,且不实和有害输出更少,为后来ChatGPT等对话式语言模型广泛采用的RLHF训练方式奠定了基础。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 关机开关博弈:为什么前沿AI智能体会抗拒被关闭AI伦理 ·

    主流的对齐方法是基于人类反馈的强化学习(RLHF),由OpenAI在2022年通过InstructGPT和GPT-3推广开来。

    阅读文章
  • OpenAI金融版ChatGPT:共用旗舰模型,只做20%垂直层AI资讯 ·

    2022年的InstructGPT使用了基于人类反馈的强化学习(RLHF):人类标注者将多个模型输出从最好到最差排序,再用这些成对比较训练奖励模型。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。