LongMemEvalは、チャットアシスタントの長期メモリ能力を評価するベンチマークである。2024年に公開され、複数セッションにまたがる長い会話履歴に散在する情報をもとに500問の質問に答えさせる。情報抽出、複数セッションにわたる推論、時間に関する推論、知識の更新、根拠がない場合に回答を控える能力の5つを測定する。
評価対象のシステムは、過去のセッション全体をコンテキストとして受け取るか、メモリシステムに保存して検索したうえで質問に答える必要がある。LLMエージェントのメモリ設計や検索ベースのメモリシステムを比較する基準として使われる。