Vals AI

Vals AIは、大規模言語モデルやAI製品の性能を独立した立場で評価し、ベンチマークを公開している米国の企業である。

記事1本最終言及

Vals AIは、大規模言語モデル(LLM)とそれを基盤とするAI製品の性能を第三者の立場で評価する米国の企業である。2023年に設立され、本社はカリフォルニア州サンフランシスコにある。法律、金融、税務、コーディングなど専門業務の分野ごとにベンチマークを作成し、モデルごとの結果をリーダーボードとして公開している。

モデル開発企業が自ら発表するスコアとは別に、外部機関として複数のモデルを同じ条件で試験する。試験問題がモデルの学習データに混入しないよう、評価データの一部は非公開で運用している。法律分野のAI製品の結果を弁護士の結果と比較したVals Legal AI Reportでも知られる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • GPT-6.2 Astra登場、タスク単価は大幅減もコーディングは横ばいAIニュース ·

    独立系の評価機関であるVals AIは、同社のRSI IndexでAstraを29.01%と評価しました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。