RULER是衡量语言模型长上下文处理能力的基准,由NVIDIA研究人员于2024年发布。它扩展了大海捞针任务,以任意长度合成多信息检索、多跳追踪、聚合和问答任务进行评估。
它用于揭示模型宣称的最大上下文长度与实际保持性能的长度之间的差距,也用于比较transformer与线性注意力类模型的长上下文检索能力。
一个扩展大海捞针测试、在不同长度下衡量语言模型长上下文能力的基准。
RULER是衡量语言模型长上下文处理能力的基准,由NVIDIA研究人员于2024年发布。它扩展了大海捞针任务,以任意长度合成多信息检索、多跳追踪、聚合和问答任务进行评估。
它用于揭示模型宣称的最大上下文长度与实际保持性能的长度之间的差距,也用于比较transformer与线性注意力类模型的长上下文检索能力。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
在 RULER 基准的“大海捞针”任务中(一个神奇数字被藏在文章文本里,在末尾被提问),Llama-2-7B 在 8k token 内保持高准确率,而 RWKV-v5-7B 和 Mamba-2.8B 在超过 2k 到 4k token 后急剧下降。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。