InstructGPT

OpenAI가 2022년 공개한 언어 모델로, 사람의 피드백을 이용한 강화학습(RLHF)으로 GPT-3가 지시를 따르도록 학습시켰다.

기사 2편최근 언급

InstructGPT는 OpenAI가 2022년 1월 공개한 언어 모델이다. GPT-3를 바탕으로 사람이 쓴 모범 답변으로 지도 학습을 하고, 이어 사람 평가자가 여러 출력에 매긴 순위로 reward model을 학습시킨 뒤 강화학습으로 모델을 조정하는 RLHF(사람의 피드백을 이용한 강화학습) 방식을 적용했다. 이 방법은 같은 해 발표된 논문 'Training language models to follow instructions with human feedback'에 정리돼 있다.

InstructGPT는 기존 GPT-3보다 사용자의 지시를 잘 따르고 거짓이나 유해한 출력이 줄어든 것으로 평가됐으며, 이후 ChatGPT를 비롯한 대화형 언어 모델에 널리 쓰이는 RLHF 학습 방식의 토대가 됐다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI가 종료를 거부하는 이유, off-switch game이 짚는 불확실성 조건AI 윤리 ·

    OpenAI가 2022년 InstructGPT와 GPT-3를 정렬하면서 널리 퍼뜨렸습니다.

    기사 읽기
  • OpenAI 금융용 ChatGPT, 전용 모델 없이 만든 설계 원칙AI 뉴스 ·

    이 문제를 풀기 위해 팀은 2022년 InstructGPT 논문의 방식, 곧 RLHF(사람의 피드백으로 하는 강화학습)로 되돌아갔습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.