MMMU

MMMUは、大学レベルの多分野の問題でマルチモーダルモデルの理解力と推論力を測るベンチマークである。

記事2本最終言及

MMMU(Massive Multi-discipline Multimodal Understanding and Reasoning)は、画像とテキストを併せて扱うマルチモーダルモデルの専門知識と推論能力を評価するベンチマークである。2023年にオハイオ州立大学やウォータールー大学など複数の大学の研究者が公開した。大学の試験や教科書から集めた約1万1,500問で構成され、芸術・デザイン、ビジネス、科学、保健・医学、人文・社会科学、技術・工学の6分野30科目を扱う。問題には図表、地図、化学構造式、楽譜など多様な種類の画像が含まれる。

2024年に公開されたMMMU-Proは、MMMUをさらに難しくした版である。画像を見ずにテキストだけで解ける問題を除外し、選択肢を最大10個に増やしたうえで、質問と選択肢をすべて画像の中に埋め込み、モデルが画面を読んで解かなければならないvision設定を追加した。MMMU-Pro Visionはこのvision専用設定を指す。MMMUは、GPT、Gemini、Claudeなど主要なマルチモーダルモデルの性能を比較する代表的なベンチマークの一つとして使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 建設特化ベンチマークでClaudeが首位、数量計測はまだ53%止まりAI性能 ·

    MMMU-Proのような視覚推論テストやHarveyの法的推論テストは、図面の読み取りや契約管理の部分的な代替指標にはなりますが、このスイートが登場するまで、建設ワークフローを直接測るものはありませんでした。

    記事を読む
  • GPT-6.1 TerraはOpus 5.5の12分の1のコストでどこまで戦えるかAI性能 ·

    MMMU-Pro Visionベンチマークでも、TerraはGPT-5.6 Terra、Astra、Solを抑えて再び左上のフロンティアに位置しており、画像の取り込みや3Dの座標処理タスクに向けた空間的・視覚的推論の強さをうかがわせます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。