LongMemEval是评估聊天助手长期记忆能力的基准测试。它于2024年发布,要求系统根据分散在跨多个会话的长对话历史中的信息回答500道问题,测量信息抽取、跨会话推理、时间推理、知识更新以及在缺乏依据时拒答五种能力。
被评估的系统需要将全部历史会话作为上下文接收,或将其存入记忆系统并检索相关内容后再作答。该基准用于比较大语言模型智能体的记忆设计和基于检索的记忆系统。
2024年发布的基准测试,利用跨多个会话的对话历史评估聊天助手的长期记忆能力。
LongMemEval是评估聊天助手长期记忆能力的基准测试。它于2024年发布,要求系统根据分散在跨多个会话的长对话历史中的信息回答500道问题,测量信息抽取、跨会话推理、时间推理、知识更新以及在缺乏依据时拒答五种能力。
被评估的系统需要将全部历史会话作为上下文接收,或将其存入记忆系统并检索相关内容后再作答。该基准用于比较大语言模型智能体的记忆设计和基于检索的记忆系统。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
在测试长期对话记忆的LongMemEval基准上,该包搭配高推理强度的GPT-5,在500个问题中答对472个(94.4%)。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。