27B 매개변수 모델을 128k context window(모델이 한 번에 기억하며 다룰 수 있는 입력 길이)와 함께 16GB VRAM GPU 한 장에 올려 쓰는 일이 실제로 가능한지, 그리고 그렇게 돌린 모델이 어디까지 쓸 만한지를 직접 시험한 결과가 나왔습니다. 대상은 ByteShape가 자사 기술 ShapeLearn으로 양자화한 Qwen3.8-27B GGUF 가운데 IQ3_XS 변형입니다. 결론부터 말하면 속도, 긴 문맥 기억, 추론, 코딩, 그리고 Blender 연동까지 대부분의 과제를 통과했고, Godot로 3D 게임을 만드는 가장 어려운 과제에서만 무너졌습니다. 다만 긴 코드를 생성할 때 출력이 잘리는 문제가 반복되어 prompt에 제약을 명시해야 했습니다.

16GB VRAM에 27B 모델과 128k context를 넣는 방법

ShapeLearn은 tensor마다 가장 알맞은 데이터 형식을 학습해 정하는 방식의 양자화(모델 가중치를 더 적은 비트로 압축해 메모리를 줄이는 기법)입니다. 2비트, 3비트, 4비트처럼 매우 낮은 비트 수에서도 지능과 품질을 높게 유지한다는 것이 ByteShape의 설명입니다. 모델 카드에는 IQ4_XS 같은 표준 양자화 이름을 Hugging Face 표와 맞추기 위해 붙였을 뿐, 실제로는 tensor별 하이브리드 양자화를 쓴다는 설명이 달려 있습니다. 이 모델은 지난 한 달 동안 Hugging Face에서 약 205만 회 내려받혀 로컬 AI 커뮤니티에서 이미 널리 쓰이고 있습니다.

시험에 고른 IQ3_XS는 가중치당 약 3.01비트입니다. 이 크기여야 16GB VRAM에 모델이 여유 있게 들어가면서, KV cache(이전 token의 계산 결과를 저장해 두는 메모리)를 Q8로 압축해 128k context 전체를 함께 올릴 수 있습니다.

시험 환경은 다음과 같습니다.

항목 구성
운영체제 Ubuntu Server 24.04.4
추론 GPU NVIDIA RTX 2000 Ada 16GB, 소비 전력 70W
CPU / 메모리 AMD Ryzen 5700X, DDR4 3600MHz 32GB
저장 장치 2TB Gen4 SSD
추론 서버 llama.cpp

시스템에는 RTX 5090 32GB도 들어 있지만, 이는 batch benchmark를 빨리 돌리기 위한 용도였고 모델 추론은 전적으로 RTX 2000 Ada에서 이루어졌습니다. 70W짜리 GPU라는 점이 이 시험의 핵심 조건입니다.

속도와 기억력

128k context 설정에서 측정한 처리량은 다음과 같습니다.

측정 항목 결과
cold prefill(처음 입력을 읽는 속도) 512 token에서 초당 323.8 token, 8k에서 최고 초당 446.5 token
cached prefill(KV cache가 있을 때) 512 token에서 초당 2,205.9 token, 32k에서 초당 87,677.4 token
decode(답을 생성하는 속도) 생성 길이와 무관하게 초당 31.0~31.7 token

생성 속도 초당 약 31 token은 길이가 늘어도 거의 흔들리지 않았습니다. prefill batch 크기를 더 키우는 시도는 메모리 여유가 부족해 실패했는데, 16GB를 꽉 채워 쓰는 구성이라 생기는 한계로 보입니다.

긴 문맥 기억력은 Needle-in-a-Haystack 시험(긴 글 속에 숨긴 짧은 정보를 찾아내는 시험)으로 확인했습니다. 6자리 passkey를 글의 0%, 25%, 50%, 75%, 100% 깊이에 숨기고 최대 256,608 token까지 15회 시도한 결과 모두 찾아냈습니다. 총 소요 시간은 55분 53초였습니다. 다만 25%와 50%처럼 중간 깊이에 숨겼을 때는 답이 한 줄로 깔끔하게 나오지 않고 내부 추론과 군더더기가 늘어나는 경향이 있었습니다.

두꺼운 종이 더미 한가운데 끼워진 작은 카드를 돋보기로 찾는 장면

▲ 긴 문맥 속 정보 찾기 시험

추론과 코딩 benchmark

단계별 난이도로 구성된 추론 benchmark에서는 48문제 중 40문제를 맞혀 83%를 기록했고, 평균 응답 시간은 6,324ms였습니다.

난이도 결과
Easy 12/12 (100%)
Medium 12/12 (100%)
Hard 10/12 (83%)
Expert 6/12 (50%)

주제별로는 공간 추론, 상태 추적, 시간 추론이 100%, 논리 94%, 확률 86%로 강했고, 제약 조건 문제는 50%, 정보 이론은 0%로 약했습니다. 3비트로 압축한 27B dense 모델이라는 점을 감안하면 Hard 83%와 Expert 50%는 탄탄한 수준이지만 뛰어나다고까지 보기는 어렵습니다.

Python 프로그래밍 문제 100개로 이루어진 HumanEval Remix에서는 전체 77%를 통과했습니다. 6문제는 아예 답을 내지 않아 응답률이 94%였고, 답한 문제만 놓고 보면 통과율은 82%입니다. 평균 응답 시간은 12,461ms, 전체 실행 시간은 20분 46초였습니다. 6문제를 시도조차 하지 않은 점이 점수를 조금 깎았습니다.

실제 과제 다섯 가지

benchmark 점수보다 흥미로운 부분은 모델에게 실제 개발 과제를 agent(도구를 스스로 호출하며 여러 단계 작업을 수행하는 AI) 방식으로 맡긴 결과입니다. 다섯 과제 가운데 네 개를 통과했습니다.

과제 결과 사용자 개입 횟수 compaction context 사용량
좌석 배치 웹 앱 통과 3회 1회 64.1%
떨어지는 모래 시뮬레이션 통과 0회 0회 52.5%
절차적 던전 크롤러 통과 2회 0회 73.4%
Blender 랜턴 모델링 통과 1회 1회 21.2%
Godot 3D 이동 발판 게임 실패 4회 7회 88.5%

compaction은 context가 꽉 차 갈 때 이전 대화를 요약해 압축하는 과정으로, 횟수가 많을수록 모델이 초기 지시를 잃어버릴 위험이 커집니다.

좌석 배치 앱, 모래 시뮬레이션, 던전 크롤러

첫 과제는 테이블을 끌어서 재배치하고, 손님을 배정하고, 좌석 순서를 바꾸고, 검색과 필터를 지원하는 행사 좌석 배치 앱이었습니다. headless Chrome에서 Playwright로 돌린 자동 검증은 9개 기준과 45개 assertion을 모두 통과했습니다. 그런데 과정이 순탄하지는 않았습니다. 모델이 큰 코드를 한 번에 쓰려다 최대 출력 token 한도를 넘겨 코드가 잘리는 일이 반복됐습니다. system prompt에 token 한도가 엄격하다는 점을 알리고 한 번에 거대한 재작성을 시도하지 말라고 지시하자 문제가 사라졌고, 이후 닫히지 않는 modal 창과 drag-and-drop 핸들러 버그를 짧은 후속 prompt 두 번으로 고쳤습니다.

두 번째는 모래, 물, 벽, 산, 지우개 재료를 갖춘 cellular automata(격자 칸마다 규칙에 따라 상태가 바뀌는 시뮬레이션) 샌드박스였습니다. 모래가 쌓여 둔덕을 이루고, 물이 옆으로 퍼지고, 산이 벽과 모래를 녹이는 동작이 모두 구현됐습니다. 5회 실행에서 16개 assertion을 전부 통과했고 prompt 수정이나 잘림 우회 없이 context 52%만 썼습니다. 모래 알갱이가 고인 물을 뚫고 위로 순간 이동하는 결함이 있었는데, 이 prompt를 받은 여러 언어 모델이 공통으로 보이는 버그라고 합니다.

세 번째는 BSP(공간을 반복해서 둘로 나눠 방을 만드는 방식)와 raycast 기반 fog of war(시야 밖 지역을 가리는 기법)를 쓰는 top-down 2D 던전 크롤러였습니다. 플레이어 이동, 시야 반경, 탐사한 지도 비율, 방마다 빛이 퍼지는 모습이 제대로 나왔습니다. 처음에는 좌석 배치 앱과 같은 출력 잘림이 있었고, 시야선이 벽을 뚫고 지나가는 문제가 있었지만 후속 prompt 한 번으로 raycast 논리를 고쳐 방 경계가 제대로 닫혔습니다. 바깥 둘레 벽에 삼각형 그림자 잔상이 남는 작은 결함은 있었습니다.

Blender 랜턴 모델링

난이도를 올려 MCP(AI 모델이 외부 도구와 주고받는 표준 규격)로 Blender에 직접 연결해 'Starfall 랜턴'이라는 3D 자산을 모델링하고 렌더링하게 했습니다. 결과물은 육각형 받침에 세로 창살과 위쪽 걸이가 달린 랜턴으로, 노란 발광 코어와 금속 금색 프레임이 렌더링됐습니다. 폴리곤 수가 적게 최적화된 형상이라 viewport 회전이 지연 없이 매끄러웠습니다.

아쉬운 점은 두 가지였습니다. 아래 둘레에 달아 달라고 한 장식을 빠뜨렸고, 유리 덮개의 반사 광택이 다소 부자연스러운 halo처럼 보였습니다. 또 렌더링 결과를 디스크에 저장하지 않고 MCP 버퍼로만 돌려주어 "스크린샷은 어디 있나"라고 물어야 파일로 저장했습니다. 그래도 context 21.2%, compaction 1회로 마쳤고, IQ3 수준 양자화임을 감안하면 실시간 게임용 최적화 자산으로 쓸 만해 보입니다.

완성된 육각 랜턴과 미완성 발판 게임 모형이 나란히 놓인 작업대

▲ Blender 성공과 Godot 실패

Godot 3D 게임에서 무너진 이유

마지막 과제는 MCP로 Godot에 연결해 이동하는 발판, 수집할 열쇠, 떨어지면 죽는 구덩이, 도착 지점 trigger가 있는 3D 장애물 코스 레벨을 완성하는 것이었습니다. 겉모습은 좋았습니다. 조명과 파스텔 색 표면, 구덩이 위에 떠 있는 발판이 보기 좋게 렌더링됐습니다. 하지만 실제로 해 보니 결함이 줄줄이 나왔습니다. 마우스 상하 시점이 반대로 움직였고, 떠 있는 구형 열쇠는 주워지지 않았으며, 가운데 이동 발판에는 닿을 수 없었습니다. 구덩이에 떨어지면 checkpoint에서 다시 살아나지 않고 카메라가 허공으로 끝없이 추락했습니다.

agent 터미널 기록을 보니 모델이 'hmm', 'wait' 같은 문자열을 반복하는 내부 생각 loop에 빠져 token을 낭비하고 있었습니다. 테스트를 멈추고 마우스 시점 반전과 열쇠 충돌 처리 두 가지에만 집중하라고 명시해도 다시 loop로 돌아갔습니다. compaction이 7번 쌓이고 context가 88.5%에 이른 시점에서 수동으로 중단했고 이 과제는 실패로 기록됐습니다. 7번 압축으로 망가진 세션을 살리려 하기보다 context를 새로 시작했다면 성공했을 가능성도 있어 보입니다.

기본 모델 Q3_K_XL과 비교

같은 Qwen 계열 기본 모델을 Unsloth가 Q3_K_XL로 양자화한 버전과 앞서 시험한 결과를 놓고 비교하면 흥미로운 차이가 보입니다.

  • 복잡한 계획 과제: ByteShape 버전은 까다로운 좌석 배치 앱을 통과했지만, 기본 Q3_K_XL은 그보다 쉬운 Kanban 보드 과제에서도 고전했습니다.
  • Blender 3D 모델링: 기본 모델 쪽이 시각적 디테일과 완성도가 조금 더 나았습니다.
  • Godot 게임 개발: 기본 모델은 완전히 실패했지만, ByteShape 버전은 생각 loop에 빠지기 전까지는 작동에 상당히 가까이 갔습니다.

더 공격적으로 압축한 IQ3_XS임에도 대부분의 기술 과제에서 더 큰 Q3_K_XL 기본 양자화를 앞섰다는 것이 이 비교의 결론입니다.

정리와 사용 팁

이 시험이 보여 주는 것은 70W, 16GB GPU 한 장으로도 27B급 모델을 128k context로 로컬에서 돌리며 실제 개발 과제를 상당 부분 맡길 수 있다는 점입니다. 코드 생성과 여러 단계의 agent 작업이 주된 용도라면 ByteShape 버전이 더 나은 선택으로 보이고, Blender에서 보기 좋은 3D 자산을 뽑는 것이 주목적이라면 기본 모델 쪽이 더 맞을 수 있습니다. 한편 어려운 디버깅을 여러 번 반복해야 하는 상황에서는 생각 loop에 빠질 수 있다는 한계를 염두에 두어야 합니다.

직접 써 볼 독자를 위해 시험 과정에서 얻은 팁을 정리하면 다음과 같습니다.

  1. system prompt에 출력 token 한도를 명시하고, 한 번의 응답에 너무 많은 token을 쓰지 말라고 지시합니다. 이 모델의 가장 큰 운영상 한계인 코드 잘림을 막는 방법입니다.
  2. 최대 출력 token을 지나치게 높게 잡지 않습니다. context compaction이 잦아지는 원인이 됩니다.
  3. llama.cpp에서 저비트 가중치와 Q8 KV cache를 함께 써서 VRAM을 아끼면서 긴 context를 유지합니다.
  4. 큰 refactoring은 여러 파일을 한 번에 다시 쓰게 하지 말고 모듈 단위로 나눠 맡깁니다.
  5. MCP로 자동 테스트를 시킬 때는 엄격한 실행 timeout을 지정해 응답 없는 프로세스에 매달리지 않게 합니다.
  6. Blender 렌더링은 처음 prompt부터 카메라 뷰를 디스크의 PNG 파일로 저장하라고 명시합니다.
  7. agent 세션에서 생각 loop가 시작되면 압축이 거듭된 대화에서 계속 재촉하기보다 context를 비우고 새로 시작하는 편이 낫습니다.

고가 GPU 없이 로컬 LLM으로 코딩 보조나 agent 작업을 시도해 보려는 독자라면, 이 IQ3_XS 변형을 llama.cpp에 올리고 위 prompt 제약을 걸어 작은 과제부터 시험해 보는 것이 현실적인 출발점입니다.