Vals AI

밸스 AI

Vals AI는 대규모 언어 모델과 AI 제품의 성능을 독립적으로 평가하고 benchmark를 공개하는 미국 기업이다.

기사 1편최근 언급

Vals AI는 대규모 언어 모델(LLM)과 이를 바탕으로 한 AI 제품의 성능을 제3자 처지에서 평가하는 미국 기업이다. 2023년 설립됐고 본사는 캘리포니아주 샌프란시스코에 있다. 법률, 금융, 세무, 코딩 등 전문 업무 분야별 benchmark(성능 비교 시험)를 만들어 모델별 결과를 순위표로 공개한다.

모델 개발사가 직접 발표하는 점수와 별도로, 외부 기관으로서 같은 조건에서 여러 모델을 시험한다. 시험 문제가 모델의 학습 데이터에 섞이지 않도록 평가 데이터 일부를 비공개로 운영한다. 법률 AI 제품의 결과를 변호사의 결과와 견준 Vals Legal AI Report로도 알려져 있다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • OpenAI 새 Astra, token 줄여 benchmark 작업당 약 $4AI 뉴스 ·

    외부 평가 기관 Vals AI의 자동화 연구 benchmark RSI Index에서 Astra는 29.01%를 받았습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.