GPQA

GPQAは、生物学・物理学・化学の大学院レベルの多肢選択問題でAIモデルの科学的推論能力を測るベンチマークである。

記事1本最終言及

GPQA(Graduate-Level Google-Proof Q&A Benchmark)は、ニューヨーク大学などの研究者が2023年に公開した質問応答ベンチマークである。生物学、物理学、化学の専門家が作成した多肢選択問題448問で構成される。その分野の専門家には解けるが、非専門家にはウェブ検索を自由に使っても解くのが難しいように設計されている。

GPQA Diamondは、その中で品質が最も高いと検証された198問を抜き出したサブセットで、言語モデルの科学的推論能力を比較する際に広く使われる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェントの性能改善、プロンプト最適化と重みの学習をどう使い分けるかAI性能 ·

    手法 AIME'24 GPQA-Diamond GPU時間

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。