reward model

보상 모델

AI 모델의 출력이 얼마나 좋은지 점수로 매기도록 학습된 모델로, RLHF 등 강화학습에서 보상 신호를 만드는 데 쓴다.

기사 3편최근 언급

reward model(보상 모델)은 AI 모델의 출력이 얼마나 바람직한지를 숫자 점수로 매기도록 학습된 모델이다. 언어 모델을 강화학습으로 조정할 때 사람이 모든 출력을 일일이 평가할 수 없으므로, 사람의 선호를 학습한 reward model이 대신 보상 신호를 만든다.

대표적인 용례는 RLHF(사람의 피드백을 이용한 강화학습)다. 같은 prompt에 대한 여러 출력에 사람 평가자가 순위나 쌍대 비교를 매기고, 그 선호 데이터로 reward model을 학습시킨 뒤, 이 모델이 주는 점수를 최대화하도록 언어 모델을 조정한다. 최종 결과만 평가하는 outcome reward model과 추론 단계마다 평가하는 process reward model로 나누기도 한다. reward model이 사람의 의도를 불완전하게 반영하면 모델이 점수의 허점을 파고드는 reward hacking이 생길 수 있다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI가 종료를 거부하는 이유, off-switch game이 짚는 불확실성 조건AI 윤리 ·

    이 확률의 음의 로그 가능도를 최소화하며 reward model(응답에 점수를 매기는 모델)을 학습하고, 그 점수로 LLM 정책을 강화학습합니다.

    기사 읽기
  • 코드만 보면 못 잡는 버그, computer-use agent가 눌러 보며 찾는다AI 성능 ·

    이 기록을 LLM judge나 학습된 reward model(결과물에 점수를 매기도록 학습한 모델)이 받아 선호나 정답 여부를 판정합니다.

    기사 읽기
  • OpenAI 금융용 ChatGPT, 전용 모델 없이 만든 설계 원칙AI 뉴스 ·

    prompt 하나에 여러 출력을 뽑고, 평가자가 가장 좋은 것부터 나쁜 것까지 순위를 매기고, 그 쌍대 비교 신호로 reward model을 학습시키는 방법입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.