直接偏好优化

Direct Preference Optimization

一种利用偏好应答对直接对齐语言模型、无需单独奖励模型和强化学习的训练方法。

2篇文章最近提及

直接偏好优化(DPO)是一种利用人类偏好数据对齐语言模型的训练方法,由斯坦福大学研究人员于2023年提出。它给出同一提示下的偏好应答与非偏好应答对,不需要单独的奖励模型和强化学习,而是用提高偏好应答概率的损失函数直接训练模型。

它是RLHF的简化替代方案,实现简单、训练稳定,广泛用于开源LLM的后训练。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 关机开关博弈:为什么前沿AI智能体会抗拒被关闭AI伦理 ·

    直接偏好优化(DPO)由斯坦福大学的研究者于2023年提出,它跳过显式的RL阶段,借助隐式奖励直接在偏好数据上优化策略。

    阅读文章
  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    中间层是 LLM 适配:监督微调、蒸馏、上下文学习、LoRA(一种通过训练小规模低秩权重更新来低成本微调模型的方法),以及借助 RLHF 或 DPO 进行的偏好对齐。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。