HumanEval휴먼이벨

HumanEval은 OpenAI가 2021년에 공개한 benchmark로, 함수 설명을 주고 모델이 Python 함수를 작성하게 한 뒤 단위 테스트를 통과하는지로 정답을 가린다. 164개 문제로 이루어져 있으며, 대규모 언어 모델의 코딩 능력을 비교하는 기준으로 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.