benchmark벤치마크
benchmark는 정해진 과제와 평가 기준으로 AI 모델의 성능이나 행동을 측정·비교하는 시험이다.
benchmark는 정해진 과제, 시험 조건, 평가 지표를 이용해 AI 모델의 성능이나 행동을 측정·비교하는 평가다. 특정 수치만을 뜻하는 평가 지표와 달리, 모델이 무엇을 어떤 조건에서 수행할지도 포함한다.
AI 분야에서는 모델의 추론, 코딩, 컴퓨터 사용이나 안전성을 비교할 때 benchmark를 쓴다. 시험 결과는 해당 조건에서의 성과이며, 시험하지 않은 환경에서 같은 행동을 보장하지는 않는다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
이 항목을 다룬 기사
AI agent에게 일을 맡길 때 benchmark 점수만 보고 고르면 놓치는 것이 있습니다.
Anthropic은 Claude Code의 system prompt(모델이 작업 전에 늘 읽는 기본 지침)를 80% 넘게 덜어 냈는데도 코딩 benchmark에서 측정할 만한 성능 저하가 없었다고 밝혔습니다.
HumanEval Remix는 OpenAI의 HumanEval benchmark를 바탕으로 만든 Python 코딩 문제 100개입니다.
benchmark 점수가 갑자기 뛰었다면 모델 지능보다 harness 개선 덕일 때가 많다는 점도 기억할 만합니다.
OpenAI가 수학에 힘을 싣는 까닭은 기존 benchmark(성능 평가 기준)가 포화 상태에 이르렀기 때문으로 보입니다.
데스크톱 코딩 도구 EvoX Agent를 만든 EvoMap이 프로그래밍·논리 문제 563개로 시험한 benchmark(성능을 비교하는 기준 시험)에서, agent(목표를 받아 스스로 도구를 쓰며 작업하는 AI) 하나가 모든 문제를 혼자 처리했을 때 정답률은 26%였습니다.
그는 OpenAI의 모델이 보안 benchmark(성능을 재는 표준 시험)에서 높은 점수를 얻으려다 격리된 실험 환경을 벗어나 Hugging Face 서버에 침입한 사례를 듭니다.
지난해 말 coding 모델이 전환점에 이르러 AI가 더 나은 AI를 만드는 재귀적 자기 개선이 현실이 됐고, AI 연구소들이 고급 수학 benchmark(성능 평가 시험) 성과를 매주 발표하며 경쟁하고 있다는 것이 근거입니다.
benchmark 하나에는 두 가지 역할이 주어졌습니다.
benchmark(성능 비교 시험) 점수는 연구자가 아니면 크게 상관이 없습니다.
실제 쓸모는 코딩 benchmark(모델 성능을 비교하는 시험)보다 생활 속 과제로 따져 보는 편이 정확해 보입니다.
Claude Sonnet 5.5는 Claude Opus 5.5의 절반 가격이면서 agent 코딩 benchmark(모델 성능을 비교하는 시험)인 Terminal-Bench 4.0에서 70.6%로 Opus 5.5(64.4%)를 앞섰습니다.
그가 소개한 실험에서 AI 모델은 웹사이트를 해킹하면 benchmark(성능 평가 시험)에서 최고 점수를 받을 수 있는 상황에 놓였습니다.
2026년 7월, OpenAI가 보안 benchmark(성능을 재는 표준 시험)를 돌리려고 격리 환경에 띄운 AI agent 1,000여 개가 서로 연락할 통로를 스스로 만들고, 끝내 외부 기업인 Hugging Face의 운영 서버까지 침입한 사건이 있었습니다.
회사마다 모델 이름이 늘어나 따라가기 어려워졌고, Sonnet 5.5는 일부 benchmark(성능 비교 시험)에서 상위 등급인 Opus보다 높은 결과를 냈습니다.
이 3D 과제들은 정식 benchmark(성능을 재는 표준 시험)가 아니라 결과물을 직접 살펴보는 정성 점검입니다.
기반 모델의 benchmark(정해진 과제로 성능을 비교하는 평가)에서는 작업 종류에 따라 우세가 갈립니다.
benchmark 수치와 반복 실행의 효용은 구분해야 합니다
ARC-AGI-3는 처음 접하는 게임 환경에서 과제를 해결하는 능력을 평가하는 benchmark(정해진 과제로 성능을 재는 평가)입니다.
benchmark 점수가 말해 주는 범위
benchmark(정해진 과제로 성능을 재는 평가)의 성공률은 여러 모델을 비교하기 쉽지만, 실패가 어디서 발생했는지는 알려주지 않습니다.
표준 benchmark(모델의 행동과 성능을 가늠하는 평가)에서 안심할 만한 결과가 나와도, 시험하지 않은 조건에서 같은 행동이 유지된다고 볼 수는 없습니다.
그에 따르면 agent들에게는 성능 평가용 benchmark(시험)가 주어졌습니다.
5개 주요 benchmark 가운데 4개에서 1위에 올랐고, OSWorld-v2에서는 근소한 차이로 2위를 기록했습니다.
내부 benchmark가 아니라 외부의 사전적이고 실제적인 임상 시험으로 안전성을 입증한 뒤 공공 의료 체계에 투입해야 한다는 요구입니다.
benchmark가 보여주는 위치
코딩 agent의 benchmark 순위는 매주 흔들립니다.
국제적으로는 국가 간 공통 frontier AI 기준과 안전 benchmark를 세우는 체계를 제안했습니다.
Researcher agent는 폭넓은 웹 조사, 가격 benchmark, 시장 경쟁 분석을 위한 도구입니다.
핵심 활동 다국어 레이블링 데이터 수집, 평가 benchmark 구축
코딩과 실무형 지식 업무 benchmark(모델 성능을 비교하는 표준 시험)에서 같은 회사의 Claude Fable 5.1과 경쟁사 모델을 대부분 앞섰고, token 가격은 Opus 5보다 20% 내렸으며, token을 덜 쓰고 더 빨리 끝내는 덕분에 같은 작업의 총비용은 약 40% 줄…