Bradley-Terry

ブラッドリー・テリーモデル

一対比較の結果から各対象の相対的な強さを推定する確率モデルで、AI分野では報酬モデルの学習やモデルのランキングに用いられる。

記事2本最終言及

Bradley-Terryモデルは、一対比較の結果から各対象の相対的な強さを推定する統計モデルである。1952年にRalph A. BradleyとMilton E. Terryが提案したもので、対象iと対象jを比較したときにiが選ばれる確率を、両者の強さパラメータの比として表す。各パラメータは観測された比較結果に対する最尤推定で求める。

AI分野では、人間の選好データから報酬モデル(出力に点数を付けるモデル)を学習する際の損失関数の基礎として広く使われている。人間が選んだ応答の点数が高くなるように学習するRLHF(人間のフィードバックによる強化学習)の選好学習が代表例である。また、Chatbot Arenaのように利用者が2つのモデルの回答を比較して投票する評価プラットフォームで、モデルの順位を算出するのにも用いられる。

統計学やスポーツの分野では、選手やチームの試合結果から順位を付ける目的で古くから使われてきた。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIが停止を拒む理由とは。オフスイッチ・ゲームで読む訂正可能性の欠落AI倫理 ·

    採用された出力と却下された出力は、Bradley-Terryの定式化を用いて報酬モデルを訓練します。

    記事を読む
  • 生成コードは読まずに遊んで採点、Arenaの新しいAI評価手法AI性能 ·

    ペアは、「AがBに勝った」という比較から学習するための標準的な定式化であるBradley-Terry損失で訓練されます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。