LongMemEval

채팅 assistant의 장기 memory 능력을 여러 세션에 걸친 대화 기록으로 평가하는 benchmark로, 2024년에 공개됐다.

기사 1편최근 언급

LongMemEval은 채팅 assistant의 장기 memory 능력을 평가하는 benchmark다. 2024년에 공개됐으며, 여러 세션에 걸친 긴 대화 기록 속에 흩어진 정보를 바탕으로 500개 문항에 답하게 한다. 정보 추출, 여러 세션에 걸친 추론, 시간 추론, 지식 갱신, 답할 근거가 없을 때 답을 보류하는 능력의 다섯 가지를 측정한다.

평가 대상 시스템은 과거 세션 전체를 context로 받거나 memory 시스템에 저장한 뒤 검색해 질문에 답해야 한다. LLM agent의 memory 설계와 검색 기반 memory 시스템을 비교하는 기준으로 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • agent의 차이는 모델이 아니라 intelligence plane에서 난다AI 활용 ·

    이 패키지는 LongMemEval benchmark에서 GPT-5를 high reasoning 설정으로 결합해 500문항 가운데 472문항을 맞혀 94.4%를 기록했습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.