キャリブレーション

calibration

モデルが出力した確率が実際の正解頻度とどの程度一致しているかを表す機械学習の概念。

記事7本最終言及

キャリブレーション(calibration)とは、モデルが出力した確率値が実際の結果の頻度とどの程度一致しているかを指す。たとえば、あるモデルが確率0.8を割り当てた事例のうち実際に約80%が正解であれば、そのモデルはよく較正されている。正誤の割合だけを見る正解率と異なり、キャリブレーションは確率値そのものの信頼性を扱う。

分類モデルの確率出力をしきい値と比較して自動処理か人間によるレビューかを決めるシステムで重要になる。キャリブレーションはモデルごとに異なるため、あるモデルで決めたしきい値を別のモデルにそのまま持ち込むことはできず、通常は正解付きの評価データで測定する。計測分野では、測定機器の目盛りを基準値に合わせる作業を指す。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • NVIDIAのフアンCEOが退任、Fable 5.2とCarbonが競った激動の1週間AIニュース ·

    GoogleのGemini Decisions APIは専用のGemini Decision 1モデルの上に構築され、テキスト、画像、動画、PDF文書にまたがる較正済みのマルチモーダル評価を扱います。

    記事を読む
  • 生成コードは読まずに遊んで採点、Arenaの新しいAI評価手法AI性能 ·

    Arenaの較正では、これはリーダーボードでおよそ60から70ポイントの上昇に相当します。

    記事を読む
  • 決定モデルとしきい値設計でAIエージェントの判断を速く安く確実にするAI活用 ·

    文脈となる情報と、許可された答えの固定リストを与えると、決定モデルは1回の順伝播で各答えに対する較正済みの確率を返します。

    記事を読む
  • フロンティアモデルの隠れコストを削る3つの修正、プロンプト負債・キャッシュ・評価AI活用 ·

    飽和した、あるいは較正の狂った評価に対してヒルクライムを行うと、どのモデルも到達できない天井を目指してトークンを浪費します。

    記事を読む
  • ClaudeがGoogle Docsに入り、ChatGPTはChromeを操作AIニュース ·

    Score 自分で定義した段階の尺度のどこに入力が当たるかを示す、較正済みの評価

    記事を読む
  • Krea 3の部分編集とGrok Voice 3.0が光る、新AIモデル実力検証AIニュース ·

    文章を書く生成モデルと違い、判断モデルは入力を評価して、選択肢か較正された確率を返します。

    記事を読む
  • タンパク質構造予測AIの次の課題、静止構造から動きの理解へAIヘルスケア ·

    仮に95を記録するモデルがあっても、予測ごとの信頼度スコアであるpLDDTが較正されていなければ、危険で使い物になりません。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。