MMMU(Massive Multi-discipline Multimodal Understanding and Reasoning)是一个评估同时处理图像和文本的多模态模型在专家级知识与推理方面能力的基准测试。它由俄亥俄州立大学、滑铁卢大学等多所高校的研究人员于2023年发布。该基准包含从大学考试和教材中收集的约11,500道题目,涵盖艺术与设计、商业、科学、健康与医学、人文与社会科学、技术与工程六大领域的30个学科。题目中包含图表、地图、化学结构式、乐谱等多种类型的图像。
2024年发布的MMMU-Pro是MMMU的加强版。它剔除了不看图像仅凭文本即可作答的题目,将选项数量扩展到最多10个,并新增了将题目和选项全部嵌入图像、要求模型从屏幕中读取后作答的纯视觉设置。MMMU-Pro Vision即指这一纯视觉设置。MMMU是比较GPT、Gemini、Claude等主要多模态模型性能的代表性基准测试之一。