FrontierMath

FrontierMathは、AIの動向を研究する機関Epoch AIが2024年に公開したベンチマークで、専門の数学者が新たに作成した難問によってAIの高度な数学的推論能力を測る。問題は整数論や代数幾何学など、現代数学の幅広い分野にわたる。

問題の大半は、学習データに混入しないよう公開されていない。答えは正確な数値や数学的対象として定まっており、自動で採点できる。専門家にとっても難しい問題で構成されているため、従来の数学ベンチマークを上回る水準の推論を評価するのに用いられる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。