GPQA

생물학·물리학·화학 분야의 대학원 수준 객관식 문제로 AI 모델의 과학 추론 능력을 재는 benchmark다.

기사 1편최근 언급

GPQA(Graduate-Level Google-Proof Q&A Benchmark)는 New York University 등의 연구진이 2023년에 공개한 질의응답 benchmark(성능 비교 시험)다. 생물학, 물리학, 화학 분야의 전문가가 만든 객관식 문제 448개로 이루어져 있다. 해당 분야 전문가는 풀 수 있지만 비전문가는 웹 검색을 자유롭게 써도 풀기 어렵도록 설계했다.

GPQA Diamond는 그중 품질이 가장 높다고 검증된 198문제를 추린 부분집합으로, 언어 모델의 과학 추론 능력을 비교할 때 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • prompt 최적화와 가중치 학습, AI agent에 무엇을 먼저 쓸까AI 성능 ·

    Qwen3 사례 AIME'24 GPQA-Diamond GPU 시간

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.