HotpotQA

여러 Wikipedia 문서의 정보를 종합해야 답할 수 있는 질문으로 구성한 multi-hop 질의응답 benchmark다.

기사 1편최근 언급

HotpotQA는 Carnegie Mellon University, Stanford University, Université de Montréal 등의 연구진이 2018년에 공개한 질의응답 데이터셋이다. Wikipedia 문서를 바탕으로 한 약 11만 3,000개의 질문과 답으로 이루어져 있으며, 문서 두 개 이상의 정보를 이어 추론해야 답할 수 있는 multi-hop 질문이 중심이다. 답의 근거가 되는 문장도 함께 표시해 모델이 근거를 제시하는지 평가할 수 있다.

검색으로 찾은 문서를 바탕으로 답을 생성하는 RAG와 여러 단계를 거치는 질의응답 시스템, AI agent의 성능을 평가하는 데 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • prompt 최적화와 가중치 학습, AI agent에 무엇을 먼저 쓸까AI 성능 ·

    GEPA 연구에서 prompt 최적화는 HotpotQA와 IFBench에서 수백 번의 실행 안에 수렴했고, GRPO 같은 강화학습보다 표본 효율이 훨씬 높았습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.