Bradley-Terry

布拉德利-特里模型

一种根据成对比较结果估计各对象相对强度的概率模型,在AI领域用于奖励模型训练和模型排名。

2篇文章最近提及

Bradley-Terry模型是一种根据成对比较结果估计各对象相对强度的统计模型。该模型由Ralph A. Bradley和Milton E. Terry于1952年提出,将对象i在与对象j的比较中被选中的概率表示为两者强度参数之比,参数通常通过对观测到的比较结果做最大似然估计得到。

在AI领域,它被广泛用作基于人类偏好数据训练奖励模型(为输出打分的模型)时损失函数的基础。典型例子是RLHF(基于人类反馈的强化学习)中的偏好学习,即训练模型给人类选中的回答打出更高分数。它也用于Chatbot Arena等评测平台,通过用户在两个模型输出之间投票的结果计算模型排名。

在统计学和体育领域,该模型长期用于根据比赛结果为选手或球队排名。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 关机开关博弈:为什么前沿AI智能体会抗拒被关闭AI伦理 ·

    被偏好和被拒绝的输出用于训练一个奖励模型,采用Bradley-Terry公式:一个输出胜过另一个的概率是e^(rp) / (e^(rp) + e^(rr)),模型最小化损失-log P(yp > yr)。

    阅读文章
  • Arena研究:让智能体试玩再评判AI生成的游戏与网页AI性能 ·

    配对数据用Bradley-Terry损失训练,这是从"A胜B"比较中学习的标准公式。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。