Vals AI是一家以第三方身份评测大语言模型(LLM)及其上层AI产品性能的美国公司,成立于2023年,总部位于加利福尼亚州旧金山。该公司针对法律、金融、税务、编程等专业领域构建基准测试,并以排行榜形式公开各模型的结果。
其评测独立于模型开发商自行公布的分数,由外部机构在相同条件下测试多个模型。为避免测试题目进入模型的训练数据,部分评测数据不对外公开。该公司还因Vals Legal AI Report而为人所知,这份报告将法律AI产品的结果与律师的结果进行了对比。
Vals AI是一家独立评测大语言模型和AI产品性能并发布基准测试的美国公司。
Vals AI是一家以第三方身份评测大语言模型(LLM)及其上层AI产品性能的美国公司,成立于2023年,总部位于加利福尼亚州旧金山。该公司针对法律、金融、税务、编程等专业领域构建基准测试,并以排行榜形式公开各模型的结果。
其评测独立于模型开发商自行公布的分数,由外部机构在相同条件下测试多个模型。为避免测试题目进入模型的训练数据,部分评测数据不对外公开。该公司还因Vals Legal AI Report而为人所知,这份报告将法律AI产品的结果与律师的结果进行了对比。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
独立评测机构 Vals AI 在其 RSI Index 上给 Astra 打出 29.01%,GPT-6 Astra 为 27.07%;RSI Index 是一项自动化研究基准,按 50% 代表人类水平来校准。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。