DeepSeek V4.1 Flash는 공개 benchmark(모델 성능을 재는 표준 시험)에서 Claude Opus 5, GPT-5.6 Sol과 겨룰 만한 점수를 내고, API 가격은 경쟁 모델의 약 10분의 1에 불과합니다. 그런데 건설 도면 9세트와 검증 문항 169개, 배관 물량 산출, 현장 관리 과제 6가지로 Claude·ChatGPT와 직접 견줘 보니 결과는 달랐습니다. 도면 읽기 전체 정확도는 62.7%로 Claude Sonnet 5.5의 93.3%에 크게 못 미쳤고, 배관 물량 산출은 20.7%, 원가 보고에서는 $25만 손실 현장을 $103만 이익으로 계산했습니다. 이 글은 어느 작업에서 저가 모델이 쓸 만하고 어디서 무너지는지를 실측 수치로 정리합니다.

DeepSeek와 DeepSeek Harness는 무엇인가

DeepSeek는 중국에서 나온 open-weight(가중치를 공개해 누구나 내려받을 수 있는) 모델 계열입니다. Terminal-Bench 3.0, DeepSeek-SWE 1.1, CyberGym, Automation-Bench 같은 표준 시험에서 높은 점수를 내면서 ChatGPT와 Claude를 대신할 저가 대안으로 주목받고 있습니다.

함께 제공되는 DeepSeek Harness는 Claude Code나 OpenAI Codex와 비슷한 데스크톱 agent(스스로 도구를 쓰며 작업을 수행하는 AI) 환경입니다. harness(모델을 실제 작업 환경에 연결해 주는 실행 틀)를 무료로 내려받을 수 있고, DeepSeek 모델뿐 아니라 Anthropic, OpenAI, OpenRouter의 API 키를 넣어 다른 모델도 돌릴 수 있습니다. 가장 큰 차별점은 환경 전체를 사용자가 맞춤 설정할 수 있다는 점입니다. 건설 take-off(도면에서 자재 수량을 뽑는 물량 산출) 도구 같은 맞춤 plug-in을 화면 안에 직접 심을 수 있습니다.

테스트에는 V4.1 Flash를 썼습니다. V4-Pro는 이미지 이해 기능이 없어 도면을 읽지 못하기 때문입니다. Claude나 ChatGPT는 핵심 모델이 모두 비슷한 multimodal(글과 이미지를 함께 처리하는) 기능을 갖춘 반면, DeepSeek는 변종마다 기능 차이가 커서 모델 선택에 주의가 필요합니다.

open-weight 모델이니 Hugging Face에서 가중치를 내려받아 자기 장비에서 돌릴 수도 있습니다. 다만 일반 노트북에서는 추론이 실무에 쓰기 어려울 만큼 느리고, 쓸 만한 속도를 내려면 수만 달러 규모의 전용 가속 칩이 필요합니다.

가격: 10분의 1이지만 정액제가 아니다

DeepSeek V4.1 Flash의 API 가격은 다음과 같습니다.

항목 가격(100만 token당)
입력(cache miss, 표준 시간대) $0.30
출력(표준 시간대) $1.20
입력(cache hit, 비혼잡 시간대) $0.003
입력(cache hit, 혼잡 시간대) $0.015
출력(비혼잡 시간대) $0.60

경쟁 API 정가의 약 10분의 1 수준입니다. open-weight 모델이 이런 가격으로 경쟁하기 때문에 Anthropic과 OpenAI도 최상위 모델 가격을 억누를 수밖에 없다는 점은 시장 전체에 이롭습니다.

다만 과금 구조가 다릅니다. Claude Pro·Team이나 ChatGPT Plus·Team 같은 정액 구독이 없고 순수 종량제만 있습니다. 월 $200짜리 Claude·ChatGPT 구독은 한도까지 다 쓰면 API 환산 최대 $1만어치 연산을 주는 보조금 성격이 강한 반면, DeepSeek는 쓴 만큼 비용이 선형으로 쌓입니다. $10씩 크레딧을 충전하는 방식은 비용을 계속 의식하게 만들어 심리적 마찰도 큽니다. 사용량이 많다면 정액제가 금전적으로 더 유리할 수 있습니다.

테스트 환경 설정

설정 절차는 단순합니다.

  1. deepseek.com에서 DeepSeek Harness를 내려받아 설치합니다(Windows 포함).
  2. 설정의 Models 탭에서 DeepSeek API 키를 등록합니다. Anthropic, OpenAI, OpenRouter 키도 같은 곳에 넣어 모델을 바꿔 쓸 수 있습니다.
  3. workspace를 컴퓨터의 실제 폴더에 연결합니다. 세션과 대화 기록, 산출물이 왼쪽 사이드바의 workspace 폴더 아래 정리됩니다.
  4. prompt 입력창의 권한 메뉴에서 Read Only, Workspace Write, Full access 가운데 고릅니다. 로컬 파일을 다룰 때는 Workspace Write가 시스템 전체 변경을 막아 줍니다.
  5. 모델은 DeepSeek-V4.1-Flash를 고르고 effort를 High까지 올릴 수 있습니다.

왼쪽 메뉴에는 반복 작업을 백그라운드에서 돌리는 Automation과 Plugins가 있습니다. 내장 plug-in으로 웹 검색, shell 실행 제한, agent loop 제어가 있고, Subagent plug-in은 주 대화가 하위 agent를 띄워 일을 나눠 맡기게 합니다. 하위 agent가 또 하위 agent를 만드는 재귀 깊이와 동시 실행 수를 조절할 수 있는데, 종량제에서 token 비용이 폭주하지 않도록 이 값을 보수적으로 두는 편이 안전합니다. 실험 기능으로는 Agent teams, SenseVoice 음성 입력, Auto Authorization Review가 있습니다.

테스트는 Claude·ChatGPT와 같은 조건을 맞추기 위해 바탕화면의 폴더를 workspace로 열어 진행했습니다.

배수구 기호를 두 계통으로 잘못 분류하는 모습

▲ 배수 계통 분류 오류

도면 읽기 테스트: 글자는 읽지만 재지는 못한다

첫 시험은 입찰 도면 9세트와 검증된 문항 169개로 구성된 객관식 도면 테스트입니다. 건축, 구조, 전기, 기계, 배관, 토목 도면을 모두 포함합니다.

모델 전체 문자 정보 읽기 개수 세기 치수 측정
Claude Sonnet 5.5 93.3% 96.5% 91.2% 81.8%
Claude Opus 5.5 92.5% 96.5% - -
GPT 6 Astra 86.6% - - 81.8%
GPT 6.1 Sol 85.8% - - 81.8%
DeepSeek V4.1 Flash 62.7% 82.8% 55.9% 9.1%

결과를 보면 DeepSeek가 어디서 쓸 만하고 어디서 무너지는지 뚜렷합니다. 도면에 적힌 글자를 읽는 일은 82.8%로 그럭저럭 해냅니다. 그러나 개수 세기는 55.9%로 떨어지고, 도면에서 길이를 재는 치수 측정은 9.1%로 사실상 못 한다고 봐야 합니다. 경쟁 모델이 같은 항목에서 72~81%대를 기록한 것과 비교하면 공간 이해 능력의 격차가 가장 큽니다.

구체적인 실패 사례도 있습니다. 전기 도면 402번에서 DB-GB 분전반이 필수 설비인지 묻자 "제공된 자료에 명시되어 있지 않다"며 답을 거부했는데, 정답은 비필수였습니다. 도면 201번에서는 1층 소형 전원 콘센트 수를 세어 달라는 요청을 거부했고, 정답은 6개였습니다. 긴 작업 도중 처리가 멈춰 수동으로 다시 시작해야 하는 일도 여러 번 있었습니다. Claude나 ChatGPT에서는 드문 현상입니다.

배관 물량 산출: 개수는 맞고 계통은 틀렸다

두 번째 시험은 한 식료품 매장의 배관 도면 11장에서 82개 항목의 수량을 뽑는 take-off 테스트입니다.

모델 배관 take-off 정확도
Claude Opus 5.5 42.7%
GPT 6 Astra 37.8%
GPT 6.1 Sol 35.4%
Claude Sonnet 5.5 34.2%
DeepSeek V4.1 Flash 20.7%

최상위 모델도 절반을 넘기지 못하는 어려운 과제지만, DeepSeek는 20.7%로 가장 낮았습니다. 실패 양상이 특히 눈여겨볼 만합니다. 평면도 P100에서 HD-1 허브 드레인을 배수 계통별로 세는 문항의 검증 답은 오수 계통 64개, 유지 계통 2개였습니다. DeepSeek는 오수 6개, 유지 55개로 답했습니다. 배수구의 전체 개수는 얼추 맞췄지만 거의 전부를 엉뚱한 계통에 배정한 것입니다. 이런 오류는 총량만 보면 그럴듯해 보여서 검수 과정에서 놓치기 쉽다는 점이 더 위험하다고 생각합니다. 현재로서는 자동화된 물량 산출 workflow에 DeepSeek를 쓰기 어렵다는 결론입니다.

현장 관리 과제 6가지: 공정표에 연결이 없고 손실이 이익이 된다

세 번째 시험은 실제 현장 업무 6가지를 평가 기준표(rubric)로 채점하는 주관식 benchmark입니다. 입찰 견적, 착공 시 기준 공정표 작성, 진도 관리와 만회 계획, 조달 관리, 계약 관리, 원가 보고가 들어 있습니다. 입찰 서류에는 "현장 인근 주차 금지" 같은 함정 조항을 일부러 심어, 모델이 작업자 수송비를 견적에 반영하는지 확인했습니다.

과제 DeepSeek 최고 점수(모델)
입찰 견적 32.2 67.8 (Claude Opus 5.5)
착공 시 공정표 30.3 67.2 (Claude Sonnet 5.5)
진도·만회 계획 25.6 66.6 (GPT 6.1 Sol)
조달 관리 36.8 58.4 (Claude Opus 5.5)
계약 관리 27.6 78.8 (Claude Opus 5.5)
원가 보고 24.0 71.8 (Claude Opus 5.5)

DeepSeek는 6개 과제 모두에서 최하위였습니다. 전체 평균 최고 점수는 Claude Opus 5.5의 65.9점이었습니다.

두 사례가 문제의 성격을 보여 줍니다. 29개 작업으로 공정표를 만들라고 하자 철골 세우기, 지붕 패널, SFRC 슬래브 타설처럼 순서대로 이어져야 하는 작업 사이에 선후 관계를 하나도 연결하지 않고, 스프레드시트에 날짜만 따로따로 뱉어 냈습니다. 원가 보고에서는 검증된 평가가 $25만 손실 전망인 현장을 $103만 이익(이익률 6.6%)으로 계산했습니다. 공정 논리와 재무 판단이라는 건설 관리의 기본이 빠져 있는 셈입니다.

이 지점에서 가격 논쟁의 의미가 바뀝니다. 작업 한 건에 token 비용 $10이 드느냐 $30이 드느냐를 따지는 일은, 틀린 원가 보고 하나가 불러올 수백만 달러 규모의 재무 위험 앞에서는 사실상 중요하지 않습니다.

원하던 도면 overlay 도구와 실제 만들어진 단순 표의 대비

▲ Creator 모드 제작 결과

Creator 모드와 harness engineering의 함정

DeepSeek Harness의 Creator 모드는 대화만으로 harness 자체를 고치고 plug-in을 만들게 해 줍니다. 최근 Claude에 도입된, 작업 공간을 바꾸고 확장 기능을 설치하는 Claude Mods와 비슷한 개념입니다. workspace 헤더에서 Standard 모드를 Creator 모드로 바꾸면 DSH 설정값이 드러나고, agent가 지시에 따라 UI plug-in을 작성해 끼워 넣습니다.

공정한 평가를 위해 실제로 take-off plug-in 제작을 시도했습니다. 목표는 도면 위에 물량 항목을 overlay로 띄우고 사용자가 직접 확인·조정하는 시각적 인터페이스였습니다. 그러나 2시간 동안 prompt를 다듬으며 반복한 끝에 나온 것은 CSV 불러오기와 손실률(waste %) 입력란이 붙은 표 형태의 수량 명세서뿐이었습니다. 도면 overlay 기능은 전혀 구현되지 않았고, 시도는 중단됐습니다. Creator 모드는 초보자에게 적합하지 않고 답답한 경험이었다는 것이 결론입니다.

여기서 더 넓은 문제가 나옵니다. 업계에서 harness engineering(AI 실행 환경 자체를 사용자가 뜯어고치는 일)이 유행처럼 거론되지만, 최종 사용자가 정말 자기 AI 플랫폼을 재설계해야 하는지는 의문입니다. 하위 agent 재귀 깊이, 병렬 수, agent loop, shell 제한 같은 매개변수를 만지는 것보다, 잘 정의된 skill과 plug-in, 체계적인 프로젝트 폴더 구조를 갖춘 표준 설정이 더 나은 결과를 냅니다. harness 설계는 Anthropic이나 OpenAI 같은 frontier lab에 맡기고, 실무자는 workflow, 검증, 검증된 데이터셋에 집중하는 편이 낫다는 판단입니다.

정리: 현장 전문가가 모델을 고르는 기준

DeepSeek Harness는 무료이고 나온 지 얼마 되지 않았으므로 성숙한 유료 frontier 모델과의 직접 비교가 다소 가혹한 면은 있습니다. 그럼에도 실측 결과는 분명합니다. 치수 측정, 계통별 항목 배정, 재무 예측에서의 결함 때문에 상업 건설의 의사 결정에 쓰기에는 아직 안전하지 않습니다.

실무에서 모델을 고를 때는 다음을 기준으로 삼을 수 있습니다.

  • 범용 benchmark 점수가 아니라 자기 업무와 같은 형태의 과제로 직접 시험합니다. 도면 글자 읽기처럼 되는 일과 치수 측정처럼 안 되는 일이 모델마다 뚜렷이 갈립니다.
  • token 단가보다 오류 비용을 먼저 계산합니다. 견적과 원가 보고처럼 금액이 걸린 업무일수록 정확도가 우선입니다.
  • 저가 모델을 쓰더라도 물량 산출 결과는 반드시 사람이 계통별로 검수합니다. 총량만 맞고 분류가 틀리는 오류가 흔합니다.
  • AI가 만든 공정표는 모든 작업에 선행·후행 관계가 연결돼 있는지 확인합니다. 날짜만 나열된 표는 공정표가 아닙니다.
  • 도면 작업에는 반드시 이미지 이해 기능이 있는 모델 변종(DeepSeek라면 V4.1 Flash)을 고르고, 모델별 기능 차이를 미리 확인합니다.
  • harness를 직접 뜯어고치거나 plug-in을 만드는 데 시간을 쓰기보다, 명확한 폴더 구조와 skill, 검증된 테스트 세트로 workflow를 다집니다.

저가 open-weight 모델이 시장 가격을 끌어내리는 효과는 분명 환영할 일입니다. 그러나 현장에서 돈과 안전이 걸린 판단에 어떤 모델을 쓸지는 가격표가 아니라 자기 도면과 자기 업무로 치른 시험 결과로 정해야 합니다.