LongMemEval은 채팅 assistant의 장기 memory 능력을 평가하는 benchmark다. 2024년에 공개됐으며, 여러 세션에 걸친 긴 대화 기록 속에 흩어진 정보를 바탕으로 500개 문항에 답하게 한다. 정보 추출, 여러 세션에 걸친 추론, 시간 추론, 지식 갱신, 답할 근거가 없을 때 답을 보류하는 능력의 다섯 가지를 측정한다.
평가 대상 시스템은 과거 세션 전체를 context로 받거나 memory 시스템에 저장한 뒤 검색해 질문에 답해야 한다. LLM agent의 memory 설계와 검색 기반 memory 시스템을 비교하는 기준으로 쓰인다.