LongMemEval

複数セッションにまたがる会話履歴を用いてチャットアシスタントの長期メモリ能力を評価するベンチマーク。2024年に公開された。

記事1本最終言及

LongMemEvalは、チャットアシスタントの長期メモリ能力を評価するベンチマークである。2024年に公開され、複数セッションにまたがる長い会話履歴に散在する情報をもとに500問の質問に答えさせる。情報抽出、複数セッションにわたる推論、時間に関する推論、知識の更新、根拠がない場合に回答を控える能力の5つを測定する。

評価対象のシステムは、過去のセッション全体をコンテキストとして受け取るか、メモリシステムに保存して検索したうえで質問に答える必要がある。LLMエージェントのメモリ設計や検索ベースのメモリシステムを比較する基準として使われる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • エージェントの差別化は「インテリジェンスプレーン」へ、Oracleが示す4つの実践AI活用 ·

    長期的な会話記憶を試すLongMemEvalベンチマークでは、推論努力を高に設定したGPT-5と組み合わせた場合に、500問中472問(94.4%)に正答しました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。