GitHub star(저장소에 붙는 추천 표시)가 합쳐 100만 8,087개에 이르는 Claude Code plugin(기능을 덧붙이는 확장 도구) 다섯 개를 기본 Claude Code와 같은 조건에서 비교했더니, 기본 설정보다 나은 결과를 낸 plugin은 하나도 없었습니다. 품질 점수는 같거나 조금 낮았고, 비용과 시간은 대부분 늘었습니다. 한 작업에서는 같은 결과물을 얻는 데 기본 설정이 $0.91, plugin을 쓴 쪽이 $5.12를 썼습니다. 인기 있는 plugin을 깔면 결과가 좋아진다는 통념을 수치로 다시 볼 필요가 있습니다.

무엇을 어떻게 비교했나

비교 대상은 성격이 서로 다른 다섯 개입니다.

plugin 성격 GitHub star
Superpowers 계획과 검증 절차를 얹는 workflow kit(작업 절차 묶음) 31만 8,100개
ECC agent(스스로 작업을 수행하는 AI)와 skill(작업 방법을 적어 둔 지침 묶음)을 대량으로 묶은 workflow kit 30만 3,800개
Graphify 코드베이스를 knowledge graph(코드 요소의 관계를 연결망으로 정리한 지도)로 바꾸는 도구 14만 8,400개
Caveman 답변을 짧게 줄여 token(모델이 글을 처리하는 단위)을 아끼는 도구 12만 400개
claude-mem 세션 사이 기억을 이어 주는 도구 11만 7,400개

Superpowers와 ECC는 GitHub 전체 저장소 가운데 star 순위 14위와 15위로, Linux와 React보다 star가 많습니다. 최근 30일 동안에도 각각 1만 7,600개와 2만 2,400개가 늘었으니, 방치된 옛 저장소가 아니라 지금도 주목받는 도구들입니다.

기준은 plugin을 하나도 얹지 않은 기본 Claude Code이고, 테스트는 다음과 같이 구성했습니다.

  • 크기가 다른 코딩 작업 세 개: Starlette에 요청 ID 헤더를 붙이는 기능 추가, HTTPX에서 redirect(요청을 다른 주소로 넘기는 동작) 때 로그인 인증 정보가 제3자에게 새는 보안 버그 수정, Textual로 만드는 터미널 재고 관리 앱
  • 디버깅, 코드 리뷰, 설계 판단을 묻는 개발자 질문 20개
  • 파일이 1,500개를 넘는 오픈소스 코드베이스에 대한 질문 12개
  • 3일에 걸친 여러 세션의 기억 유지 테스트
  • Airbnb를 본뜬 오두막 숙소 예약 웹사이트 전체 제작

코딩 작업은 숨긴 테스트로 검증했습니다. 답변 품질은 Sol 6.1이 blind 채점(어느 설정의 결과인지 모르고 매기는 방식)을 했고, 다섯 문항마다 Sonnet 5.5가 표본을 다시 확인했습니다.

workflow kit: 절차가 늘수록 비용도 늘었습니다

Superpowers

Superpowers는 코딩 agent를 위한 개발 방법론을 내세웁니다. 코드를 쓰기 전에 브레인스토밍, 단계별 계획, 검증을 거치게 하는 방식입니다. 결과는 다음과 같습니다.

작업 기본 Claude Code Superpowers
작업 1: Starlette 요청 ID $0.55, 4.0분 $1.61, 11.5분
작업 2: HTTPX 보안 버그 $0.32, 7.6분 $0.37, 5.1분
작업 3: Textual 재고 앱 $0.91, 4.7분 $2.33, 14.5분
숙소 예약 웹사이트 $2.84, 14분 $5.15, 26분

작업 1~3에서 두 설정 모두 테스트 100점 만점에 100점을 받았습니다. 웹사이트 제작은 Superpowers 쪽이 비용이 81% 더 들었는데, 만들어진 사이트의 구성과 사용 흐름은 사실상 같았습니다. 작업 2에서는 Superpowers가 더 빨랐지만 비용은 더 들었고, 다른 작업의 결과를 보면 한 번의 예외로 보입니다.

ECC

ECC는 agent 72개, skill 327개, 명령 98개를 한꺼번에 넣어 줍니다. 그만큼 시작부터 무겁습니다. 기본 Claude Code는 skill 19개, agent 5개, 명령 55개로 시작 context(모델이 한 번에 참고하는 입력)가 23.8k token인데, ECC를 얹으면 52.8k token이 됩니다. prompt(모델에 주는 지시문)를 한 줄도 입력하기 전에 약 2만 9,000 token을 더 싣는 셈입니다.

비용 차이는 더 컸습니다. 작업 1은 $0.55, 4.0분에서 $2.93, 13.7분으로 늘었고, 작업 3은 $0.91, 4.7분에서 $5.12, 28.7분으로 늘었습니다. 작업 2에서도 ECC는 $1.22, 6.5분으로 기본 설정보다 비용이 두 배 넘게 들었습니다. 숙소 예약 웹사이트는 $8.66, 39분이 걸렸습니다. 그런데도 작업 3에서 기본 설정, Superpowers, ECC는 숨긴 테스트 89개를 똑같이 통과했습니다. 비용과 시간이 품질로 이어지지 않은 것입니다.

가벼운 주머니를 든 주자와 도구가 넘치는 큰 배낭을 멘 주자가 같은 출발선에 선 모습

▲ 시작 전부터 무거운 context

절약을 내건 도구도 결과는 반대였습니다

Caveman

Caveman은 Claude Code가 꾸밈을 뺀 짧은 말투로 답하게 해 출력 token을 줄이는 도구입니다. 문서에는 입력 token 33.2% 감소, 같은 점수에 54% 저렴한 실행, 1.4~2.4배의 비용 효율이 적혀 있습니다. 개발자 질문 20개와 코딩 작업으로 세 가지 설정을 비교한 결과는 달랐습니다.

설정 답변당 비용 품질 점수
기본 Claude Code $0.152 94.3
Caveman $0.162 94.1
CLAUDE.md에 'Answer concisely' 한 줄 $0.117 93.1

Caveman은 세 설정 가운데 가장 비쌌고, 기본 설정보다 약 8% 더 들었습니다. 답변의 단어 수는 5%쯤 줄었지만, 말투 규칙을 context에 싣는 데 드는 token이 절감분을 모두 지웠습니다. 반면 설정 파일인 CLAUDE.md에 'Answer concisely'라는 한 문장만 넣은 경우에는 비용이 23% 줄었고 점수는 비슷했습니다.

Graphify

Graphify는 코드와 문서를 knowledge graph로 만들어 agent의 token 지출을 80% 줄인다고 내세웁니다. 1,500개 파일 규모의 저장소에서 질문 12개와 코딩 작업 2개를 두 차례 돌린 결과는 이렇습니다.

항목 기본 Claude Code Graphify 차이
질문당 읽은 token 258k 288k 12% 증가
답변 점수 93.0 89.1 하락
세션당 비용 $4.62 $5.74 24% 증가
소요 시간 12.7분 16.5분 30% 증가

token, 비용, 시간이 모두 늘었고 정확도는 떨어졌습니다. 이전 세대 모델에서는 knowledge graph가 도움이 됐을 수 있지만, 지금 모델은 평범한 grep(문자열 검색)으로 더 빠르고 정확하게 코드를 찾는 것으로 보입니다.

claude-mem

claude-mem은 세션이 바뀌면 앞의 내용을 잊는 문제를 풀겠다는 도구입니다. 첫날 세션에서 프로젝트 규칙을 알려 주고 셋째 날 세션에서 그 규칙을 묻는 방식으로 세 가지 시나리오를 시험했습니다. 기본 Claude Code와 claude-mem 모두 기억 점수 1.00으로 전부 기억해 냈고, 세션당 비용은 $5.50와 $5.54로 거의 같았습니다. Claude Code에 내장된 백그라운드 작업과 자동 세션 노트가 이미 같은 일을 하고 있어, plugin이 더해 준 것이 없었습니다.

작업대에서 쓰지 않는 도구를 상자에 담고 몇 개만 남겨 정리하는 사람

▲ 쓰지 않는 도구 덜어내기

왜 이런 결과가 나왔나

원인은 모델이 빠르게 발전한 데 있는 것으로 보입니다. Sonnet 3.5와 Opus 4를 쓰던 시기에는 계획을 강제하고 규칙을 촘촘히 적어 주는 scaffolding(모델 바깥에서 절차와 규칙을 잡아 주는 틀)이 빈틈을 메웠습니다. 여섯 달 전쯤만 해도 이런 plugin이 실제로 도움이 됐을 수 있습니다. 하지만 Opus 4.6을 거쳐 Opus 5.5와 Fable 5.2에 이른 지금은 모델이 스스로 추론하고 계획하므로, 바깥에서 얹은 절차는 같은 일을 두 번 시키는 비용이 됩니다. 엄격한 규칙이 오히려 모델의 능력을 제한할 수도 있습니다.

Anthropic의 엔지니어들도 같은 방향을 말합니다. 한 엔지니어는 복잡한 skill과 강한 어조의 CLAUDE.md 지시를 지우라고 권했고, 다른 엔지니어는 Claude Code 모범 사례를 다시 짚은 발표에서 최소한의 깔끔한 설정이면 충분하다고 강조했습니다.

GitHub star 수가 지금의 성능을 보증하지 않는다는 점도 짚어야 합니다. star는 예전 모델 시절의 평가나 화제성을 반영할 수 있습니다. 다만 plugin을 만든 사람들의 잘못이라고 보기는 어렵습니다. 모델이 약했던 시기에 쓸모 있던 도구를 만들었고, 그 뒤 모델이 더 빨리 달라졌을 뿐입니다. 오픈소스인 만큼 불필요한 지시를 직접 걷어 내고 지금 모델에 맞게 고쳐 쓰는 방법도 있습니다.

정리: plugin을 덜어내는 기준과 점검 순서

이번 비교에서 얻을 판단 기준은 단순합니다. 구조는 적을수록 좋습니다.

  • 코딩을 전반적으로 더 잘하게 해 준다는 범용 plugin은 없이 쓰는 편이 낫습니다.
  • 계획, 기억, 코드 탐색, 간결한 답변처럼 모델과 Claude Code가 이미 하는 일을 다시 시키는 도구는 뺍니다.
  • Claude에 없는 외부 기능을 새로 더해 주는 도구만 남깁니다.

지금 설정을 점검하는 순서는 세 단계입니다.

  1. 점검합니다. Claude Code의 /doctor 명령으로 현재 설정을 진단합니다. 평소 쓰는 말로 모든 skill과 plugin을 살펴보고 최근 90일 동안 쓰지 않은 것을 찾아 정리해 달라고 요청해도 됩니다.
  2. 까다롭게 고릅니다. 남은 도구가 하는 일을 지금 모델이 이미 해내는지 하나씩 확인합니다.
  3. 믿기 전에 시험합니다. 같은 작업을 plugin을 켠 상태와 끈 상태로 나란히 돌리고, /cost 명령으로 token 사용량과 비용, 걸린 시간을 비교한 뒤 결과물의 품질을 확인합니다.

token을 아끼고 싶다면 전용 plugin을 찾기 전에 CLAUDE.md에 'Answer concisely' 한 줄을 넣어 보는 것이 먼저입니다. 그리고 모델이 바뀔 때마다 같은 점검을 되풀이하는 것이 좋습니다. 오늘 쓸모 있는 설정이 다음 세대 모델에서는 짐이 될 수 있기 때문입니다.