MMMU

MMMU는 대학 수준의 여러 학문 분야 문제로 multimodal 모델의 이해·추론 능력을 재는 benchmark다.

기사 2편최근 언급

MMMU(Massive Multi-discipline Multimodal Understanding and Reasoning)는 이미지와 글을 함께 다루는 multimodal 모델의 전문 지식과 추론 능력을 평가하는 benchmark다. 2023년 오하이오 주립대학교와 워털루 대학교 등 여러 대학의 연구자들이 공개했다. 대학 시험과 교과서에서 모은 약 1만 1,500개의 문제로 이루어지며, 예술·디자인, 경영, 과학, 보건·의학, 인문·사회과학, 기술·공학의 6개 분야 30개 과목을 다룬다. 문제에는 도표, 지도, 화학 구조식, 악보 같은 다양한 종류의 이미지가 포함된다.

2024년에 공개된 MMMU-Pro는 MMMU를 더 어렵게 만든 판이다. 이미지를 보지 않고 글만으로 풀 수 있는 문제를 걸러 내고 선택지를 최대 10개로 늘렸으며, 질문과 선택지를 모두 이미지 안에 넣어 모델이 화면을 읽어 풀어야 하는 vision 설정을 추가했다. MMMU-Pro Vision은 이 vision 전용 설정을 가리킨다. MMMU는 GPT, Gemini, Claude 등 주요 multimodal 모델의 성능을 비교하는 대표 benchmark 가운데 하나로 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 건설 도면·입찰 서류로 시험한 AI 순위, 코딩 benchmark와 다른 결과AI 성능 ·

    시각 추론을 재는 MMMU-Pro나 법률 추론을 재는 Harvey의 평가가 도면 해석과 계약 관리의 부분 대용이 될 수는 있지만, 건설 workflow 자체를 재는 benchmark는 없었습니다.

    기사 읽기
  • GPT-6.1 Terra 코딩 비용, Opus 5.5의 12분의 1 이하AI 성능 ·

    MMMU-Pro Vision benchmark에서도 Terra는 GPT-5.6 Terra, Astra, Sol을 제치고 비용 대비 성능 곡선의 가장 앞자리에 섰습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.