같은 로컬 모델에 harness만 바꿔 끼우면 코딩 성적이 얼마나 달라질까요. Qwen 3.8 27B 하나를 Claude Code, OpenCode, Pi, 그리고 새로 나온 DeepSeek Harness에 각각 연결해 SWE-rebench의 실제 GitHub 버그 68개를 풀게 한 실험에서, 네 도구가 고친 버그 수는 27개, 24개, 24개, 22개로 거의 붙어 있었습니다. 대신 성적표보다 훨씬 크게 벌어진 것은 로컬 서버에 연결할 때 만나는 설정 문제와 token(모델이 글을 처리하는 최소 단위) 처리 효율이었습니다. 자기 컴퓨터에 AI 코딩 환경을 꾸리려는 개발자라면 어느 harness가 1등인지보다 이 차이를 먼저 봐야 한다는 것이 이 실험이 남긴 결론입니다.

실험 조건: 모델은 하나, harness만 넷

harness(LLM에 system prompt와 파일 편집·shell 실행 같은 도구, 그리고 실행 loop를 붙여 자율적으로 일하는 agent로 만드는 실행 틀)는 네 가지를 썼고, 모델은 Unsloth가 배포한 Qwen 3.8 27B UD Q4_K_XL GGUF 하나를 llama.cpp의 llama-server로 구동했습니다. 비교에 쓴 버전은 다음과 같습니다.

구성 요소 버전
Claude Code 2.1.300
OpenCode 1.14.43
Pi 1.0.4
DeepSeek Harness 0.2.0-rc.2
llama.cpp b1-8ed274e

과제는 SWE-rebench에서 가져온 버그 68개입니다. pandas, scikit-learn, loguru, sqlfluff 같은 Python 저장소의 실제 issue이며, 네 harness 모두에 issue 설명과 "사람 개입 없이 고치라"는 짧은 prompt를 똑같이 주었습니다. 채점은 agent가 보지 못한 숨긴 테스트로 자동으로 했고, 과제당 제한 시간은 30분입니다. 68개 버그에 harness 네 개를 곱하면 272회 실행이 필요해, 개인용 RTX 3090 Ti 한 장 대신 NVIDIA RTX A6000 8장이 달린 클라우드 머신(시간당 약 $2.19)을 빌려 동시에 돌렸습니다. 원래는 156개 버그를 계획했지만 계산 비용 때문에 68개에서 멈췄습니다.

실험에 쓴 llama-server 설정은 다음과 같습니다. context 크기 200,000 token, flash attention 사용, 실행 slot 1개(-np 1), KV cache를 q4_0으로 양자화, batch 4096과 micro-batch 512, draft-mtp 방식의 speculative decoding(초안 token을 먼저 뽑아 생성 속도를 높이는 기법)에 초안 길이 최대 2, 그리고 --jinja 옵션입니다. 로컬 환경을 꾸밀 때 그대로 참고할 수 있는 출발점으로 보입니다.

결과: 27·24·24·22, 통계로는 우열을 가리지 못했다

30분 제한 안에서 고친 버그 수는 Claude Code 27개, OpenCode 24개, DeepSeek Harness 24개, Pi 22개입니다. Claude Code와 DeepSeek Harness를 버그 하나하나 맞대어 보면 22개는 둘 다 고쳤고 39개는 둘 다 못 고쳤으며, Claude Code만 고친 것이 5개, DeepSeek Harness만 고친 것이 2개였습니다. 여섯 쌍의 비교 가운데 다섯 쌍에서는 "68개 중 14개가 넘는 큰 차이"는 통계적으로 배제할 수 있었지만, 작은 차이가 있는지는 결론을 내릴 수 없었습니다. 1위와 4위의 5개 차이는 운이나 변동 범위 안일 수 있다는 뜻입니다.

더 눈에 띄는 것은 버그별 분포입니다.

해당 버그를 고친 harness 수 버그 수
0개 33
1개 7
2개 10
3개 2
4개 모두 16

68개 가운데 49개는 넷 다 풀었거나 넷 다 못 풀었습니다. 각 harness가 혼자서만 푼 버그는 하나 또는 둘에 그쳤습니다. 어떤 harness를 쓰느냐보다 그 버그가 얼마나 어려운가가 결과를 훨씬 크게 좌우했다는 해석이 자연스럽습니다.

버그를 푼 harness 수에 따라 다섯 무더기로 나뉜 퍼즐 조각

▲ 넷 다 풀거나 아무도 못 푼 버그

유의할 점도 있습니다. Qwen 3.8이 benchmark 버그 상당수보다 나중에 나왔기 때문에 학습 데이터에 해법이 섞여 있었을 가능성이 있고, 그 경우 harness 간 차이가 실제보다 작게 보일 수 있습니다. 또 Claude Code는 Anthropic의 Claude 모델에 맞춰 만들어진 도구라서, Qwen으로 측정한 성적이 Claude와 함께 쓸 때의 성능을 대변하지는 않습니다.

성적보다 크게 갈린 것: 로컬 연결에서 만난 네 가지 문제

Reddit의 로컬 모델 커뮤니티에는 "이 모델 별로다"라는 글의 절반은 사실 "내 harness 설정이 별로다"라는 글이라는 댓글이 있는데, 이번 실험은 그 말을 뒷받침하는 쪽입니다. 네 harness가 제대로 돌기 전까지 손봐야 했던 문제가 네 가지였습니다.

Claude Code가 시작조차 못 한 이유

Claude Code를 llama-server에 바로 연결하면 "System message must be at the beginning"이라는 Jinja 템플릿 예외와 함께 바로 꺼집니다. 최근 Claude Code는 실행 도중에 환경 정보와 token 사용량을 갱신하려고 system 메시지를 대화 중간에 끼워 넣는데, Qwen 3.8의 기본 chat template은 system 메시지가 맨 앞에만 오도록 요구하기 때문입니다.

해결책은 Claude Code와 llama-server 사이에 가벼운 Python proxy를 두고, 중간에 들어오는 system 메시지를 <system-reminder> 태그로 감싼 user 메시지로 바꾸는 것이었습니다. 늦게 온 메시지를 맨 앞 system prompt에 덧붙이는 방법은 일부러 피했습니다. 대화의 앞부분이 바뀌면 KV cache(이미 처리한 대화 앞부분의 계산 결과를 GPU에 두고 다시 쓰는 prompt cache)의 prefix가 매 턴 깨져 cache 효과가 사라지기 때문입니다. 참고로 Claude Code의 web search는 Anthropic 클라우드에 의존해 로컬 모델에서는 동작하지 않지만, 코드 검색은 bash 명령으로 대체되어 정상적으로 쓸 수 있었습니다.

harness마다 제멋대로인 thinking 수준과 sampling

각 harness는 요청에 서로 다른 추론 강도와 sampling(다음 token을 고르는 확률 설정) 값을 실어 보냅니다. Pi는 reasoning effort를 medium으로, DeepSeek Harness는 high로, Claude Code는 adaptive thinking에 high effort로 요청했고, OpenCode는 top_p를 1.0으로 고정해 보내 Qwen 권장값 0.9를 덮어썼습니다. 예전 llama-server는 reasoning effort 값을 Qwen에 전달하지 않았지만 최신 빌드는 그대로 넘기기 때문에, 같은 모델인데도 harness마다 다르게 행동하게 됩니다.

공정한 비교를 위해 proxy에서 temperature, top_p, top_k, reasoning, reasoning_effort, thinking, max_completion_tokens를 모두 걷어내 llama-server 쪽 설정이 모든 harness에 똑같이 적용되도록 했습니다. 이렇게 해야 비교 대상이 harness의 agent 동작 방식만으로 좁혀집니다.

slot 하나에 cache 하나

llama-server를 slot 1개(-np 1)로 돌리면 한 번에 하나의 대화 context만 cache에 남습니다. 그런데 여러 harness가 세션 제목을 지어 달라는 식의 부가 호출을 모델에 보내고, 이 호출이 본 작업 대화를 cache에서 밀어냅니다. 그러면 다음 턴에 전체 대화를 처음부터 다시 처리해야 합니다. 실제로 370 token을 처리한 prompt를 다시 보내면 4 token만 처리하다가, 다른 prompt가 끼어든 뒤에는 다시 370 token을 처리하는 모습이 확인됐습니다.

실험에서는 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1 같은 환경 변수와 자동 업데이트 비활성화, OpenCode의 고정 세션 제목 옵션으로 부가 호출을 막았습니다. 또 GPU 여러 장을 쓰는 임대 머신에서는 llama-server의 RAM prompt cache가 인스턴스당 최대 8GB를 차지해 메모리 부족 오류를 냈기 때문에 --cache-ram 0으로 꺼야 했습니다.

OpenCode의 검색 도구와 context 크기

인터넷이 끊긴 테스트 컨테이너에서 OpenCode는 GitHub에서 ripgrep 실행 파일을 내려받으려다 실패하기를 107번 반복한 뒤에야 shell의 grep으로 물러났습니다. 이 대체 경로는 실행마다 LLM 호출을 1~2회 더 쓰게 했고, OpenCode는 전용 검색 도구가 고장 난 상태로 benchmark를 치른 셈이 됐습니다. 오프라인 환경이라면 ripgrep을 미리 설치해 두어야 합니다.

context 크기 처리도 다릅니다. OpenCode, Pi, DeepSeek Harness는 서버의 context 크기를 읽어 와 서버 한계에 닿기 전에 압축을 시작하지만, Claude Code는 모르는 모델에 대해 200,000 token을 가정합니다. 이번에는 서버 설정과 우연히 맞았지만, 로컬 서버의 context가 그보다 작다면 최대 context token 환경 변수를 직접 맞춰 주어야 합니다.

token 효율: DeepSeek Harness의 중간 잘라내기가 cache를 깼다

버그 수정에 들어가기 전 harness가 보내는 초기 지시와 도구 정의의 크기부터 차이가 큽니다. 버그 하나를 처리하는 동안 서버가 처리한 prompt token 평균도 함께 보면 다음과 같습니다.

harness 초기 prompt token 버그당 처리 prompt token 평균
Pi 1,595 약 44,000
DeepSeek Harness 2,948 약 86,000
Claude Code 3,662 약 53,000
OpenCode 8,665 약 60,000

DeepSeek Harness는 Pi보다 평균 1.7배 많은 prompt token을 처리했고, 68개 중 54개 버그에서 Pi보다 많았습니다. 원인은 긴 파일을 읽을 때 context를 아끼려고 과거 도구 출력의 가운데를 잘라내는 middle pruning 기능입니다. 예를 들어 sqlfluff의 errors.py를 읽은 결과가 8,257자에서 5,159자로 줄었습니다. 문제는 과거 메시지를 바꾸면 대화 앞부분이 달라져 서버의 KV cache prefix가 더 이상 맞지 않는다는 점입니다. 68개 중 21개 버그에서 이런 cache 무효화가 일어났고, 그때마다 GPU가 대화 전체를 처음부터 다시 처리하느라 DeepSeek Harness가 처리한 전체 token의 약 3분의 1이 추가됐습니다.

중간이 잘린 테이프를 처음부터 다시 읽는 기계

▲ 출력 잘라내기로 깨진 KV cache

다만 빠른 GPU에서는 이 비용이 크게 드러나지 않았습니다. 여러 턴에 걸친 agent 작업에서 prompt token의 약 97%가 KV cache에서 바로 나왔고, 버그당 GPU 시간은 prompt 처리가 1.5~2.3분, 답변 생성이 15.2~15.4분이었습니다. 즉 시간의 대부분은 생성에 들어갑니다. 그러나 prompt 처리 속도가 느리거나 cache 재사용이 안 되는 환경, 예컨대 Apple Mac에서는 cache를 깨는 동작이 실행 시간을 눈에 띄게 늘릴 수 있습니다.

시간 제한이 순위를 바꾼다

제한 시간을 달리 잡았다면 순위도 달라졌을 것입니다. 실행 기록으로 더 이른 시점에 끊었을 때를 계산해 보면, 20분 제한에서는 OpenCode가 22개로 앞섰고 Claude Code와 Pi는 17개, DeepSeek Harness는 16개였습니다. 28분 시점에는 Claude Code, OpenCode, DeepSeek Harness가 23개로 같았습니다. Claude Code의 최종 우위는 마지막 2분 사이에 생긴 것입니다.

Pi로 sqlfluff issue #7617을 풀던 실행이 이 점을 잘 보여 줍니다. 모델은 29분 57초에 버그를 고치고 테스트 4개를 모두 통과시켰지만, 마지막 요약을 쓰던 30분 정각에 프로세스가 종료됐고(exit 137) 그 실행은 실패로 기록됐습니다. 남은 diff는 숨긴 테스트를 통과하는 상태였습니다. harness들은 코드 수정 뒤 4~5분을 테스트 검증을 반복하는 데 쓰는 경향이 있으므로, 실행이 끝나기를 기다리지 말고 중간에 git diff를 확인하는 편이 낫습니다. 물론 이 시간 계산은 RTX 3090 Ti 같은 다른 하드웨어에서는 달라지는 참고치일 뿐입니다.

로컬 코딩 환경을 꾸릴 때 무엇을 볼 것인가

이 실험만으로 어느 harness가 확실히 낫다고 말하기는 어렵습니다. 대신 각 도구의 성격은 비교적 분명하게 드러났습니다.

  • Claude Code: 고친 버그 수는 근소하게 1위이지만, Jinja 템플릿 문제를 proxy로 풀어야 하고 서버 context가 200,000 token보다 작다면 환경 변수로 context 크기를 직접 맞춰야 합니다.
  • Pi: 초기 prompt와 버그당 처리 token이 가장 적어 GPU 부담이 가장 작습니다.
  • DeepSeek Harness: 이번 설정에서 검색 도구가 제대로 동작한 유일한 harness였지만, middle pruning 탓에 처리 token이 가장 많았습니다.
  • OpenCode: 오프라인에서는 ripgrep을 미리 설치하지 않으면 검색 도구 없이 돌아갑니다.

harness를 고르기 전에 점검할 목록은 다섯 가지로 정리됩니다.

  1. 대화 중간의 system 메시지를 모델 템플릿에 맞게 바꾸는 proxy를 둡니다.
  2. harness가 끼워 넣는 sampling과 reasoning effort 값을 걷어내 서버 설정으로 통일합니다.
  3. 세션 제목 생성 같은 부가 호출을 꺼서 단일 slot cache가 밀려나지 않게 합니다.
  4. harness의 context 한계를 추론 서버의 실제 context 크기와 맞춥니다.
  5. ripgrep을 미리 설치합니다.

여기에 더해, 과거 메시지를 잘라내거나 고쳐 쓰는 기능은 로컬 서버에서 KV cache를 깨뜨린다는 점을 기억하고, 긴 실행 중에는 diff를 일찍 들여다보는 습관을 들이는 것이 좋습니다. 로컬 모델로 코딩 agent를 운영할 때 성패를 가르는 것은 "가장 좋은 harness"를 찾는 일이 아니라, 선택한 harness의 prompt 처리와 매개변수, context 한계를 내 서버와 모델에 맞게 손보는 일이라는 것이 이 실험이 보여 주는 가장 실용적인 교훈입니다.