MMMU

MMMU是一个利用多学科大学水平题目来评估多模态模型理解与推理能力的基准测试。

2篇文章最近提及

MMMU(Massive Multi-discipline Multimodal Understanding and Reasoning)是一个评估同时处理图像和文本的多模态模型在专家级知识与推理方面能力的基准测试。它由俄亥俄州立大学、滑铁卢大学等多所高校的研究人员于2023年发布。该基准包含从大学考试和教材中收集的约11,500道题目,涵盖艺术与设计、商业、科学、健康与医学、人文与社会科学、技术与工程六大领域的30个学科。题目中包含图表、地图、化学结构式、乐谱等多种类型的图像。

2024年发布的MMMU-Pro是MMMU的加强版。它剔除了不看图像仅凭文本即可作答的题目,将选项数量扩展到最多10个,并新增了将题目和选项全部嵌入图像、要求模型从屏幕中读取后作答的纯视觉设置。MMMU-Pro Vision即指这一纯视觉设置。MMMU是比较GPT、Gemini、Claude等主要多模态模型性能的代表性基准测试之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 建筑业AI基准测试:Claude领跑,工程量计算仍不可靠AI性能 ·

    MMMU-Pro等视觉推理测试和Harvey等法律推理测试可以部分替代图纸阅读和合同管理的评估,但在这套测试出现之前,没有任何基准直接衡量建筑业工作流程。

    阅读文章
  • GPT-6.1 Terra实测:成本仅为Claude Opus 5.5的十二分之一AI性能 ·

    在MMMU-Pro Vision基准上,Terra再次占据左上角前沿,领先于GPT-5.6 Terra、Astra和Sol,这表明它在图像输入和3D协调任务上具备很强的空间与视觉推理能力。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。