#AI benchmark
'AI benchmark' 태그가 붙은 기사 4편
태그 기사
'AI benchmark' 태그가 붙은 기사를 최신순으로 보여 줍니다.
AI 성능Claude Fable 5.2, 다섯 가지 실무 작업으로 본 체감 성능
Claude Fable 5.2는 Artificial Analysis 지수 1위로 Opus 5.5보다 6점 앞섬. Artificial Analysis 작업당 평균 비용은 약 $10로 Opus 5.5보다 높음. high effort가 Opus 5.5의 max와 같은 성능을 절반 비용으로 내고 그 이상은 효과 미미. 결제 전환 분석과 iPhone Duo용 Mac 제어 앱은 실제로 동작하는 결과물로 완성. €1만 이하 로컬 서버로는 agent 4개에 초당 40 token이 불가능하다는 조사 결과.
AI 뉴스S-1 공시로 본 RSI 기준, 연구 생산성 2배는 자기 가속의 절반
Anthropic 수정 S-1은 RSP의 RSI 기준인 연구 생산성 2배 충족이 임박했다고 공시. 생산성 2배는 가속 계수 R 약 0.5로, 자기 지속 고리인 R 1.0에는 못 미친다는 분석. benchmark 점수는 Goodhart 효과 탓에 실제 효용과 갈릴 수 있다는 지적. Fortune 500 기업이 enterprise 라이선스를 사도 직원 약 1%만 제대로 활용한다는 추정. 도입 효과를 내려면 개인이 아닌 workflow 전체를 점검하고 교육과 경영진 후원 확보.
AI 성능건설 도면·입찰 서류로 시험한 AI 순위, 코딩 benchmark와 다른 결과
건설 도면 읽기와 관리 업무 시험에서 Claude 계열이 상위, Gemini는 관리에서 뒤처짐. 같은 모델도 Claude Cowork 안에서 쓰면 원시 API보다 정확도 최대 32.8%p 상승. 물량 산출 정확도는 최고 53.1%로 사람 검수 없이 견적에 쓰기엔 부족. 문서 더미에서 기록을 찾는 과제는 최신 모델 대부분 95% 이상이라 사실상 해결된 영역. 자기 분야에서 고를 때는 실제 쓰는 도구 안에서, 실제 문서에 함정을 심어 여러 번 시험.
AI 뉴스OpenAI 금융용 ChatGPT, 전용 모델 없이 만든 설계 원칙
금융 전용 모델 없이 공유 flagship 모델의 학습 과정에 금융 추론 데이터를 넣어 구축. 외부 MCP connector 오류율 40% 초과, 금융 데이터는 OpenAI 인프라에 직접 호스팅. 기성 모델이 80%를 채우고 나머지 20%의 workflow와 데이터가 성패를 가른다는 가설. 모든 결과물은 사람이 검토한다는 전제로 은행의 검토 위계 안에 AI를 배치. 남은 병목은 사실 오류보다 슬라이드 디자인 같은 취향, 사람의 쌍대 비교로 학습.
새 기사를 RSS와 팟캐스트로 받아보세요
RSS 리더에는 RSS 주소를, 팟캐스트 앱에는 팟캐스트 주소를 등록하면 새 기사가 올라올 때마다 받아볼 수 있습니다. 팟캐스트는 제목과 핵심 요약을 음성으로 들려줍니다.
구독 방법 보기