GDPval

GDPvalは、OpenAIが2025年に公開したベンチマークで、44職種の実務タスクにおいてAIモデルの成果物を専門家の成果物と比較して評価する。

記事2本最終言及

GDPvalは、OpenAIが2025年9月に公開したベンチマークで、AIモデルが経済的価値のある実務をどの程度こなせるかを測る。米国GDPへの寄与が大きい9つの産業部門から44の職種を選び、各分野の経験豊富な専門家が実際の業務に即したタスクを作成した。成果物は文書、スライド、スプレッドシート、図表など、実務で使われる形式である。

評価は、専門家の採点者がモデルの成果物と人間の専門家の成果物をどちらか分からない状態で比較し、優れた方を選ぶ方式で行われる。正解が一つに定まる問題ではなく専門家水準の業務品質を測ることを狙ったベンチマークで、AIモデルの経済的影響を測る試みとして知られる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AnthropicのS-1が示す再帰的自己改善、加速係数0.5の意味と企業の壁AIニュース ·

    一方で、SemiAnalysisのGDPvalとGDP-Xベンチマークは、正解の自動化が難しい金融などの分野で、ニュアンスのある現実的なタスクを捉えようとする有望な試みだと評価しています。

    記事を読む
  • OpenAIが金融専用モデルを作らなかった理由、ChatGPT金融版の設計思想AIニュース ·

    OpenAI自身の44職種にわたるGDPvalベンチマークも、一般知識のタスクでは飽和し、壊れた項目や情報量のない項目を含んでいました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。