InstructGPT

InstructGPTは、OpenAIが2022年に公開した言語モデルで、人間のフィードバックによる強化学習(RLHF)でGPT-3に指示に従うよう学習させた。

記事2本最終言及

InstructGPTは、OpenAIが2022年1月に公開した言語モデルである。GPT-3をベースに、人間が書いた模範回答による教師ありファインチューニングを行い、続いて人間の評価者が複数の出力に付けた順位から報酬モデルを学習させ、強化学習でモデルを調整するRLHF(人間のフィードバックによる強化学習)を適用した。この手法は同年の論文「Training language models to follow instructions with human feedback」にまとめられている。

InstructGPTは元のGPT-3より利用者の指示に従い、虚偽や有害な出力が減ったと評価され、その後ChatGPTをはじめとする対話型言語モデルで広く使われるRLHFの訓練手法の土台となった。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIが停止を拒む理由とは。オフスイッチ・ゲームで読む訂正可能性の欠落AI倫理 ·

    主流のアライメント手法である人間のフィードバックによる強化学習(RLHF)は、2022年にOpenAIがInstructGPTとGPT-3向けに用いたことで広まりました。

    記事を読む
  • OpenAIが金融専用モデルを作らなかった理由、ChatGPT金融版の設計思想AIニュース ·

    2022年のInstructGPTは人間のフィードバックによる強化学習(RLHF)を使い、人間のラベラーが複数のモデル出力を最良から最悪まで順位づけし、そのペアごとの比較で報酬モデルを学習させました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。