InstructGPT는 OpenAI가 2022년 1월 공개한 언어 모델이다. GPT-3를 바탕으로 사람이 쓴 모범 답변으로 지도 학습을 하고, 이어 사람 평가자가 여러 출력에 매긴 순위로 reward model을 학습시킨 뒤 강화학습으로 모델을 조정하는 RLHF(사람의 피드백을 이용한 강화학습) 방식을 적용했다. 이 방법은 같은 해 발표된 논문 'Training language models to follow instructions with human feedback'에 정리돼 있다.
InstructGPT는 기존 GPT-3보다 사용자의 지시를 잘 따르고 거짓이나 유해한 출력이 줄어든 것으로 평가됐으며, 이후 ChatGPT를 비롯한 대화형 언어 모델에 널리 쓰이는 RLHF 학습 방식의 토대가 됐다.