Direct Preference Optimization(DPO)은 사람의 선호 데이터로 언어 모델을 정렬하는 학습 방법으로, 2023년 Stanford 대학교 연구진이 발표했다. 같은 prompt에 대해 선호하는 응답과 선호하지 않는 응답 쌍을 주고, 별도의 reward model(보상 모델)과 강화 학습 없이 선호 응답의 확률을 높이는 손실 함수로 모델을 직접 학습시킨다.
RLHF를 단순화한 대안으로, 구현이 간단하고 학습이 안정적이어서 오픈소스 LLM의 post-training에 널리 쓰인다.