InstructGPTは、OpenAIが2022年1月に公開した言語モデルである。GPT-3をベースに、人間が書いた模範回答による教師ありファインチューニングを行い、続いて人間の評価者が複数の出力に付けた順位から報酬モデルを学習させ、強化学習でモデルを調整するRLHF(人間のフィードバックによる強化学習)を適用した。この手法は同年の論文「Training language models to follow instructions with human feedback」にまとめられている。
InstructGPTは元のGPT-3より利用者の指示に従い、虚偽や有害な出力が減ったと評価され、その後ChatGPTをはじめとする対話型言語モデルで広く使われるRLHFの訓練手法の土台となった。