Direct Preference Optimization

직접 선호 최적화

선호 응답 쌍으로 reward model과 강화 학습 없이 언어 모델을 직접 정렬하는 학습 방법이다.

기사 2편최근 언급

Direct Preference Optimization(DPO)은 사람의 선호 데이터로 언어 모델을 정렬하는 학습 방법으로, 2023년 Stanford 대학교 연구진이 발표했다. 같은 prompt에 대해 선호하는 응답과 선호하지 않는 응답 쌍을 주고, 별도의 reward model(보상 모델)과 강화 학습 없이 선호 응답의 확률을 높이는 손실 함수로 모델을 직접 학습시킨다.

RLHF를 단순화한 대안으로, 구현이 간단하고 학습이 안정적이어서 오픈소스 LLM의 post-training에 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI가 종료를 거부하는 이유, off-switch game이 짚는 불확실성 조건AI 윤리 ·

    2023년 Stanford 연구진이 제안한 DPO(Direct Preference Optimization, 별도의 강화학습 단계 없이 선호 데이터로 정책을 직접 최적화하는 방법)는 구현이 더 싸고 단순합니다.

    기사 읽기
  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    중간은 fine-tuning(이미 학습한 모델을 특정 작업에 맞게 더 학습시키는 방법), distillation, in-context learning, LoRA, RLHF나 DPO 같은 적응 기법을 다루는 LLM Adaptation입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.