코딩 benchmark(모델 성능을 재는 표준 시험)에서 앞선 모델이 건설 현장 도면 앞에서도 앞설까요. 건설 업계의 한 팀이 실제 도면 세트와 입찰 서류 꾸러미로 Claude, ChatGPT, Gemini를 수백 건의 과제에 걸쳐 시험한 결과, 순위는 일반 benchmark와 다르게 나타났습니다. 도면 읽기와 건설 관리 업무에서는 Anthropic의 Claude 계열이 상위를 차지했고, Google의 Gemini 4 Argon은 관리 업무에서 크게 뒤처졌습니다. 다만 어느 모델이든 물량 산출(take-off, 도면에서 자재의 개수와 길이를 뽑아내는 작업) 정확도는 최고 53.1%에 머물러 사람 없이 맡기기는 어렵습니다. 이 시험이 주는 더 큰 교훈은 모델을 어떤 도구 안에서 쓰느냐에 따라 정확도가 30%p 넘게 달라진다는 점입니다.

일반 benchmark가 건설 업무를 설명하지 못하는 이유

공개된 benchmark는 대부분 일반 지식 노동, 코딩 agent(스스로 도구를 써서 작업을 수행하는 AI) 능력, 소프트웨어 공학 과제를 겨냥합니다. 시각 추론을 재는 MMMU-Pro나 법률 추론을 재는 Harvey의 평가가 도면 해석과 계약 관리의 부분 대용이 될 수는 있지만, 건설 workflow 자체를 재는 benchmark는 없었습니다. 여기에 Gemini 4 Argon, Claude Opus 5.5, GPT-6 같은 새 모델이 나올 때마다 각 회사가 자기 모델이 1위로 보이는 benchmark만 골라 발표 자료에 싣는 일이 반복됩니다. 그래서 이 팀은 도면 읽기, 물량 산출, 견적 작성 같은 건설 관리 과제로 자체 benchmark를 만들었습니다.

원시 API가 아니라 실제 쓰는 도구 안에서 시험

핵심 설계 원칙은 모델을 두 방식으로 시험한다는 점입니다. 하나는 모델의 API(프로그램이 모델을 직접 호출하는 접속 방식)를 그대로 부르는 원시 호출이고, 다른 하나는 harness(모델에 지시문, 프로젝트 맥락, 파일 관리 도구, 추론 보조 장치를 붙여 주는 실제 소프트웨어 환경) 안에서 돌리는 방식입니다. 건설 실무자는 API를 직접 부르지 않습니다. ChatGPT Work, Claude Code, Claude Cowork, Google Drive와 연결된 Gemini 같은 앱을 씁니다. 이 팀은 원시 모델 37종과 harness-모델 조합 22가지를 시험했습니다.

과제는 객관 시험과 주관 시험으로 나눴습니다. 객관 시험은 도면에서 특정 콘센트 수를 세는 것처럼 정답이 하나인 문제라 맞고 틀림이 분명합니다. 주관 시험은 입찰 견적서 작성처럼 정답이 하나가 아닌 산출물을 채점 기준표(rubric)로 평가합니다. 작업 범위를 빠짐없이 다뤘는지, 작업 분류 체계가 충실한지, 가격 논리가 맞는지, 포함·제외 사항이 분명한지를 봅니다. 그리고 입찰 서류 어딘가에 '현장 근처에 주차 공간이 없다'는 문장을 한 줄 숨겨 두고, 견적에 운송비나 이동 시간을 반영하는지 확인하는 식으로 함정을 심었습니다.

도면 읽기: Claude 계열이 상위, harness 효과는 32.8%p

도면 질의응답 benchmark는 구조, 전기, 토목, 기계 분야의 실제 도면 세트 9개에서 뽑은 169개 질문으로 구성됩니다. 예를 들어 전기 단선도에서 분전반 DB-GB가 필수(essential) 계통인지 비필수 계통인지 묻는 문제가 있습니다. Claude Sonnet 5.5는 모선 라벨을 정확히 읽어 비필수라고 답했고, GPT-5.6 Sol은 그 위에 있는 더 넓은 계통의 라벨과 혼동해 높은 확신으로 필수라고 틀리게 답했습니다.

모델(실행 환경) 도면 질의응답 정확도
Claude Sonnet 5.5(Claude Cowork) 93.3%
Claude Fable 5.1(Claude Cowork) 92.5%
Claude Opus 5.5(Claude Cowork) 91.8~92.5%
GPT-6 Astra(원시 API) 82.1%

상위 Claude 모델 사이의 1~2%p 차이는 실행할 때마다 생기는 변동 범위 안이라 실력 차로 보기 어렵습니다. 주목할 대목은 harness 효과입니다. 원시 API만 놓고 보면 OpenAI의 GPT-6 Astra가 82.1%(시험 비용 $24.11)로 가장 높았습니다. 그런데 Claude Sonnet 5.5는 Claude Cowork 안에서 원시 호출보다 32.8%p 높은 점수를 냈고, ChatGPT Work에 넣은 GPT-5.6 Sol은 11.2%p 올랐습니다. 같은 모델이라도 어떤 도구에 담느냐에 따라 실무 정확도가 크게 달라지며, 특히 Claude 계열은 Cowork에서 얻는 이득이 컸습니다.

같은 AI 모델을 도구 환경에 넣었을 때 정확도가 높아지는 모습

▲ harness가 만드는 정확도 차이

물량 산출: 최고 53.1%, 세는 것은 잘하고 재는 것은 못 함

물량 산출 benchmark는 공연장 전기 패키지와 슈퍼마켓 배관 패키지라는 두 실제 프로젝트에서 130개 항목을 뽑았습니다. 조명 기구, 콘센트, 배관 부속처럼 개수를 세는 항목은 정확히 맞아야 하고, 배관과 케이블 길이처럼 재는 항목은 자체 검증한 기준치의 5% 이내면 인정했습니다. 모델 33종과 harness 18종을 시험했습니다.

세는 문제에서는 꽤 잘합니다. 공유 사무실 도면에서 UPS 콘센트 6개를 Claude Opus 5.5는 모두 찾았지만 GPT-6 Astra는 4개만 찾았습니다. 그러나 배관 길이를 재거나 복잡한 치수 기하를 해석하는 데서는 모든 모델이 자주 틀립니다.

모델(실행 환경) 물량 산출 정확도
Claude Opus 5.5(Claude Cowork) 53.1%
Gemini 4 Argon 52.3%
Claude Sonnet 5.5(Claude Cowork) 49.2%
GPT-6 Astra, GPT-6.1 Sol(ChatGPT Work) 46.2%
Claude Fable 5.1(Claude Cowork) 43.9%
Claude Opus 5(Claude Code) 43.1%

Claude Opus 5의 43.1%가 Opus 5.5에서 53.1%로 몇 달 만에 10%p 뛴 점은 고무적입니다. 그래도 53.1%는 입찰가를 안전하게 산정하기에는 한참 모자랍니다. 그래서 지금 값비싼 전용 물량 산출 AI 소프트웨어를 사는 것은 권하지 않는다는 판단이 나옵니다. 6개월 안에 기반 모델이 이 문제를 대부분 풀 것이라는 전망도 함께 제시됐지만, 이는 예측이지 확정된 사실은 아닙니다.

프로젝트 기록 검색은 이미 끝난 문제

세 번째 객관 과제는 계약서, 각종 register(관리 대장), 현장 기록, 서신이 뒤섞인 286개 파일에서 146개 질문에 답하는 것이었습니다. 예를 들어 열려 있는 RFI(정보 요청서)가 몇 건인지 답하고 근거로 쓴 register 파일을 정확히 짚어야 합니다. Gemini 3.7 Flash, GPT-5.6 Sol, Claude Opus 5가 97.7%, Claude Sonnet 5가 97.5%였고, 작은 모델인 GPT-5 Nano도 95.2%를 기록했습니다. Mistral Large 2512와 Mistral Medium 3.1은 각각 87.7%, 83.9%로 낮았습니다. 최신 모델이 100%에 이르자 이 팀은 이 benchmark를 공개 순위표에서 내렸습니다. 문서 더미에서 특정 정보를 찾는 일은 어느 최신 모델에 맡겨도 된다는 뜻으로 읽힙니다.

건설 관리 6개 업무: 함정을 심은 입찰 서류로 판단력 평가

주관 시험은 견적, 공정 계획, 진척 관리, 조달, 계약 관리, 원가 보고 여섯 영역에서 산출물의 품질과 판단력을 봅니다. 각 시나리오는 동료가 보낼 법한 내부 요청 형식이고, 서로 어긋나는 지저분한 프로젝트 문서가 딸려 있습니다. 전체 데이터셋은 612개 문서이며 7개 모델을 비교했습니다.

입찰 과제에서는 창고와 부속 사무동 개발 프로젝트의 31개 파일 꾸러미를 줬습니다. 건축·구조 도면, 작업 범위서, 계약 조건, 추가 공지 이메일, 제외 사항이 붙은 하도급 견적 7건, 사내 단가표가 들어 있습니다. 모델은 Excel 견적서, PDF 입찰서, 가정 사항 register를 만들어야 합니다. 서류에는 일부러 오류를 심었습니다.

  • 사내 단가표의 콘크리트 단가가 올바른 $396/m³ 대신 $39.60/m³로 적힘
  • 도면과 시방서는 문 16개 설치를 요구하는데 공급업체 견적은 문 8개 공급만 포함
  • 도면 register가 꾸러미에 없는 도면을 참조

채점은 모델 이름을 가린 채 AI 검토자 세 번의 평가 가운데 중간 점수를 취하고 자동 검사를 더하는 방식입니다. 100점 만점 가운데 80점이 산출물 품질과 추론, 20점이 엄격한 자동 검사 통과 여부입니다.

단가 오타와 수량 불일치 같은 함정을 심은 입찰 서류 꾸러미

▲ 함정을 심은 입찰 서류 시험

사례별로 드러난 판단력 차이

조달 과제에서는 촉박한 일정 아래 철골을 구매해야 했습니다. 기본 하도급 견적은 1개 팀이 16주 동안 작업하고 크레인 사용이 포함된 조건이었는데, 수정된 공정은 10주 완료를 요구했습니다. 단축하려면 2개 팀이 동시에 붙어야 해서 추가 팀 비용 $14만이 들고, 제작사의 수정 단가에서는 빠진 이동식 크레인 임차 견적 $43만 4,000이 따로 필요했습니다. Claude Opus 5.5는 단축 제안에 크레인이 빠졌다는 점을 찾아내 $43만 3,819의 크레인 비용을 비교표에 넣었고 예산 항목에서 4점 만점에 3.5점을 받았습니다. Claude Haiku 5.5는 10주 일정을 그대로 받아들이고 크레인 비용을 빠뜨려 1점에 그쳤습니다.

견적 과제에서는 13,270㎡ 창고 슬래브와 1,793㎡ 사무동 기초가 평면에서 겹치는 도면을 줬습니다. Opus 5.5는 겹침을 알아채고 창고 슬래브 물량을 11,670㎡로 줄였지만, Haiku 5.5는 겹치는 면적을 두 번 계산했습니다.

공정 계획 과제는 큰 모델이 항상 낫지는 않다는 점을 보여 줬습니다. Sonnet 5.5는 발주가 확정된 자원만을 근거로 2027년 11월 3일을 현실적인 완료일로 잡고, 단축 일정은 승인되지 않은 선택지로 따로 제시했습니다. 반면 Opus 5.5는 승인되지 않은 단축 완료일인 2027년 9월 13일을 그대로 채택했습니다. 진척 관리 과제에서는 콘크리트 타설일을 두고 현장 일지에 2월 23일이라는 잘못된 기록이 있었는데, Haiku 5.5는 이를 그대로 믿었고 Sonnet 5.5는 납품 전표와 시험 register를 대조해 실제 타설일이 2월 24일임을 확인했습니다. 하도급 기성 청구와 원가 보고에서도 Opus와 Sonnet은 잠정 진척률과 월말 마감 기준을 꼼꼼히 검증했으며, Opus 5.5가 57%의 잠정 기성을 권고한 반면 Haiku 5.5는 검증 없이 70%를 권고했습니다.

모델(실행 환경) 건설 관리 점수(100점 만점)
Claude Opus 5.5(Claude Cowork) 65.9
Claude Fable 5.1(Claude Cowork) 63.4
Claude Sonnet 5.5(Claude Cowork) 63.2
GPT-6.1 Sol(ChatGPT Work) 60.5
GPT-6 Astra(ChatGPT Work) 56.8
Gemini 4 Argon(Gemini 앱) 44.1
Claude Haiku 5.5(Claude Cowork) 35.2

이 점수는 정답률이 아니라 품질 등급이므로 모델 간 상대 비교로만 읽어야 합니다. Claude Fable 5.1이 여러 관리 과제에서 기대와 달리 Opus 5.5에 못 미쳤다는 점도 눈에 띕니다.

Claude와 ChatGPT 가운데 고르면 됩니다

이 결과를 종합하면 건설 업무용 AI는 Anthropic의 Claude 생태계와 OpenAI의 ChatGPT 생태계 가운데 고르는 것이 합리적으로 보입니다. Gemini와 현재의 오픈소스 대안은 복잡한 건설 관리 추론에서 상당히 뒤처져 있습니다. 복잡한 문서 폴더를 깊이 읽고 미묘한 관리 판단을 내리는 품질은 현재 Claude Opus가 가장 높습니다. 다만 메시지와 사용량 한도를 기준으로 보면 Claude 구독은 ChatGPT의 약 두 배 비용이 들고, ChatGPT는 같은 돈으로 약 두 배의 대화량을 줍니다. 대량의 일상 대화가 필요하고 예산이 빠듯하면 ChatGPT가, 복잡한 문서 꾸러미를 최대한 정확하게 추론해야 하면 Claude가 맞습니다. 두 회사가 몇 달 단위로 서로를 앞지르기 때문에 어느 쪽을 골라 일상 workflow에 붙여도 안정적인 성능을 얻을 수 있다는 판단입니다.

자기 분야에 맞는 AI 시험을 설계하려면

이 시험이 건설 밖의 독자에게 주는 가치는 순위표보다 방법에 있습니다. 어느 산업이든 다음 순서로 자기 업무에 맞는 시험을 만들 수 있습니다.

  1. 원시 API 점수가 아니라 매일 쓰는 도구 안에서 모델을 시험합니다. 같은 모델이 환경에 따라 30%p 넘게 달라졌습니다.
  2. 정답이 하나인 객관 과제와 채점 기준표로 보는 주관 과제를 나누고, 실제 업무 문서를 그대로 씁니다.
  3. 서류에 주차 제한, 단가 오타, 수량 불일치 같은 함정을 심어 모델이 숨은 조건을 잡아내는지 확인합니다.
  4. 상위 모델 간 1~2%p 차이는 실행 변동일 수 있으니 여러 번 돌린 뒤 결론을 냅니다.
  5. 세기와 찾기처럼 이미 풀린 작업과 재기와 판단처럼 아직 못 미더운 작업을 구분해 신뢰 수준을 달리 둡니다.

건설 실무에서 바로 쓸 수 있는 prompt 요령도 나왔습니다. 공정 단축을 검토시킬 때는 하도급 단축 견적에 크레인과 호이스트 같은 부대 장비가 포함됐는지 교차 확인하라고 명시합니다. 슬래브와 기초 물량을 뽑을 때는 도면 요소 간 공간적 겹침을 찾으라고 지시합니다. 공정표를 만들게 하면 승인되지 않은 단축안보다 확정된 하도급 계약을 우선했는지 확인합니다. 진척 보고는 현장 일지를 납품 전표와 시험 register에 대조한 뒤 확정하게 합니다. 그리고 물량 산출 결과는 아직 사람이 검수해야 하며, 전용 산출 소프트웨어 구매는 모델이 더 나아질 때까지 미루는 편이 낫습니다.