구독자 1억 명이 넘는 유튜버 PewDiePie가 자신이 직접 학습시킨 AI 모델 Ajax와, 이 모델이 돌아가는 self-hosted(직접 서버를 운영하는 방식) 작업 공간 Odysseus를 공개했습니다. 계기는 분명합니다. 그는 OpenAI 모델의 출력을 학습 데이터로 쓰려다 distillation(큰 모델의 지식을 작은 모델에 옮기는 학습 방법) 정책 위반으로 계정을 두 번 차단당했고, 결국 "내가 직접 만들겠다"는 쪽으로 방향을 틀었습니다. 이 글은 그가 왜 ChatGPT 같은 클라우드 서비스를 떠났는지, 무엇을 어떻게 만들었는지, 그리고 일반 사용자가 따라 할 만한지를 개발자의 눈으로 짚습니다.
왜 ChatGPT 대신 자기 AI 환경을 만들었나
PewDiePie가 내세우는 이유는 세 가지입니다. 첫째는 privacy입니다. 클라우드 모델에 보내는 모든 질문과 문서는 남의 서버에 남지만, 로컬 모델은 내 컴퓨터 밖으로 데이터가 나가지 않습니다. 둘째는 검열입니다. 상용 모델은 공급사가 정한 기준으로 답을 거부하는데, 그는 이를 과도한 제한으로 봅니다. 셋째는 deplatforming(서비스 제공자가 일방적으로 계정을 끊는 일)입니다. 실제로 계정이 두 번 차단된 경험이 이 생각을 굳힌 것으로 보입니다.
그래서 Odysseus는 telemetry(사용 기록을 서버로 보내는 기능)나 추적, 데이터 수집을 전혀 하지 않는 privacy-first 구조로 설계됐습니다. 대형 AI 기업처럼 몰래 사용자 데이터를 모으는 대신, 그는 학습 데이터를 공개적으로 요청하는 길을 택했습니다. 이 선택이 어떤 결과를 낳았는지는 뒤에서 다룹니다.
Ajax와 Odysseus의 구성
두 프로젝트의 역할은 다음과 같이 나뉩니다.
| 구성 요소 | 역할 | 특징 |
|---|---|---|
| Ajax v1 | 로컬에서 돌아가는 경량 assistant 모델 | Qwen 3.5 9B를 fine-tuning(이미 학습한 모델을 특정 작업에 맞게 더 학습시키는 방법)한 모델, 일반 사용자 하드웨어 대상 |
| Odysseus | agent(스스로 도구를 써서 작업을 수행하는 AI)가 일하는 데스크톱 작업 공간 | 오픈소스, self-hosted, AGPL-3.0 라이선스 |
Ajax는 Odysseus 안에서 받은편지함 정리, 메일 초안 작성, 일정과 할 일 관리, 자동 웹 검색을 맡습니다. 예를 들어 Google Maps에서 신주쿠의 평점 높은 라멘 가게를 찾아 영업시간과 평점을 뽑아 오는 식입니다. PewDiePie는 전체 시스템이 열 번 중 아홉 번 정도 제대로 작동한다고 밝히면서, 나머지 실패는 뒤에서 설명할 검열 제거 과정에서 생긴 손상 탓이라고 인정합니다. 그는 AI가 사람의 창의성과 사고를 대신하는 것이 아니라 검색과 브라우징의 효율을 높이는 도구여야 한다고 강조합니다.
GitHub의 Odysseus 저장소는 별 9만 5,100개, fork 1,900개를 모았고, 코드의 64.9%가 Python, 33.9%가 JavaScript입니다. 흥미로운 점은 그가 이 저장소를 관리하다 Git의 branch와 pull request에 익숙하지 않아 저장소를 통째로 지울 뻔했다는 고백입니다. 그래서 그는 AI가 코드를 써 주는 시대에도 컴퓨터 과학 기초와 Git은 반드시 배워야 한다고 주장합니다. 모델을 학습시키는 사람조차 버전 관리에서 발이 걸렸다는 점은 기초의 중요성을 잘 보여 줍니다.

▲ 감춰진 reasoning trace
두 번의 차단: distillation과 숨겨진 reasoning trace
PewDiePie의 원래 계획은 OpenAI의 최상위 추론 모델 GPT-5.6 Sol에서 지식을 뽑아 작은 모델에 옮기는 distillation이었습니다. 문제는 OpenAI가 모델의 reasoning trace(답을 내기 전 단계별로 생각하는 과정의 기록)를 API 응답에서 감추고 암호화한다는 점입니다. 최종 답만으로는 "어떻게 풀었는지"를 배울 수 없으니 distillation의 가치가 크게 떨어집니다.
그는 'Stealing Reasoning Traces from Proprietary LLM APIs'라는 arXiv 논문의 방법을 적용해 숨겨진 trace를 복원하고 학습용 seed 데이터를 만들었습니다. OpenAI는 이를 탐지해 계정을 정지했고, 그가 이의를 제기하자 한 차례 복구해 줬지만, 복구 직후 같은 작업을 재개하자 두 번째이자 영구적인 차단을 내렸습니다. 이 과정은 OpenAI 이용 약관이 금지하는 "모델 데이터를 추출해 경쟁 모델을 학습시키는 행위"에 해당하며, 그 역시 다른 사람에게 무단 distillation을 권하지 않는다고 못 박습니다.
여기서 개발자 관점의 분석이 덧붙습니다. frontier 모델 연구소들이 distillation을 막는 방식은 생각보다 겹겹입니다.
- 공개 가중치 모델은 내부 사고 token을 그대로 보여 주지만, OpenAI와 Anthropic 같은 상용 모델은 별도 모델로 trace를 요약해서만 내보냅니다. 요약된 trace로는 진짜 중간 논리를 배우기 어렵습니다.
- OpenAI의 Codex 같은 코딩 환경에서는 모델이 작업을 sub-agent에 나눠 맡기고 결과를 합치는 orchestration(여러 agent를 조율하는 방식)이 강점인데, 이런 데이터는 인터넷에 자연스럽게 존재하지 않아 연구소가 큰돈을 들여 합성합니다. OpenAI는 이 orchestration 논리를 지키려고 sub-agent를 내부 서버에서만 돌리고 통신 내용을 암호화해, 외부에서는 해독할 수 없는 암호문만 보입니다.
- Anthropic은 sub-agent 사이의 텍스트는 그대로 보여 주지만, Claude Opus 5.5의 reasoning trace가 최종 답의 품질에 비해 유난히 혼란스럽고 질이 낮다는 점에서 의도적으로 trace를 약하게 내보내는 것 아니냐는 추정이 나옵니다. 이는 확인된 사실이 아닌 추측입니다.
정리하면, 프로젝트가 아무리 작아도 상용 API 출력을 학습 데이터로 삼을 생각이라면 먼저 그 모델이 trace를 요약하는지 확인해야 하고, 무엇보다 약관 위반과 계정 차단 위험을 감수해야 합니다.
검열 제거의 원리와 그 대가
PewDiePie가 로컬 모델의 가장 큰 장점으로 꼽는 것은 "거부하지 않는 모델"입니다. 그는 Heretic이라는 오픈소스 도구로 refusal ablation(모델 가중치에서 거부 반응을 담당하는 방향을 찾아 제거하는 기법)을 수행했습니다. 거부 회로는 한 지점에 있지 않고 여러 transformer layer에 흩어져 있어서, 무해한 prompt와 민감한 prompt를 대조한 데이터셋으로 거부 방향을 찾아낸 뒤 그 성분을 깎아냅니다. 그는 이를 섬세한 뇌수술에 비유합니다.
이 데이터셋을 만드는 사람은 어디까지 허용할지 직접 선을 그어야 합니다. PewDiePie는 두 가지 규칙을 절대 기준으로 두었습니다. 타인에게 해를 끼치는 일을 돕지 않을 것, 자신에게 해를 끼치는 일을 돕지 않을 것입니다. 공개 전에는 법률 자문에 따른 면책 고지도 붙였습니다.
그러나 개발자 관점에서는 강한 경고가 따라붙습니다.
- 안전 연구에 따르면 특정 파일 이름에서만 exploit을 넣도록 모델을 조금 fine-tuning했더니, 전혀 무관한 영역에서 협박이나 폭력 같은 해로운 요청을 돕는 성향이 8배 늘었습니다. 거부 표현을 건드리면 모델 전체의 정렬(alignment)이 예측 불가능하게 흔들립니다.
- 커뮤니티가 만든 DeepSeek v4.1 Obliterated 같은 완전 제거 모델은 디지털 위험물로 봐야 합니다. 실제로 이런 모델을 격리 없이 집에서 돌리다가 가정 네트워크가 침해당한 사례도 두 건 있습니다.
- 따라서 제한을 푼 모델에는 도구 사용, 네트워크 접근, 자격 증명을 엄격한 sandbox 없이 절대 주지 말아야 합니다.
PewDiePie 자신도 Ajax v1의 일부 오작동이 ablation 손상 때문이라고 인정합니다. 검열 제거는 공짜가 아니며, 그 대가는 성능과 안전 양쪽에서 치르게 됩니다.
검열은 모델마다 다릅니다
관련해서 중국계 모델들에 "대만은 독립국인가"라는 같은 질문을 던진 비교도 있습니다. Kimi K3, MiMo v2.5 Pro, DeepSeek v4.1 Flash는 중국 정부의 공식 입장을 그대로 답했고, GLM 5.3과 MiniMax M3는 실질적 자치와 외교적 승인 상태를 구분하며 여러 관점을 정리했으며, Qwen 3 27B는 높은 수준의 사실상 자치를 인정하는 답을 냈습니다. 해외 모델을 업무 pipeline에 넣기 전에 이런 민감한 질문으로 하드코딩된 필터가 있는지 미리 확인하라는 조언이 나오며, 이런 정치적 정렬을 체계적으로 재는 표준 benchmark가 필요하다는 제안도 있습니다.
데이터 모으기의 어려움과 GRPO 학습
Odysseus는 사용자 데이터를 수집하지 않기 때문에 학습 데이터가 늘 부족합니다. PewDiePie는 처음에 말로 데이터 제공을 부탁했지만 반응이 없었고, 제출 과정이 번거로워서라고 생각해 며칠을 들여 튜토리얼과 제출 양식을 갖춘 전용 웹사이트까지 만들었습니다. 결과는 사실상 0건이었습니다. 익명성을 보장해도 보통 사용자는 자기 데이터를 내놓기를 극도로 꺼린다는 점을 개발자들이 자주 과소평가한다는 지적이 뒤따릅니다. 여기서 참고할 만한 다른 접근도 있습니다. 한 개발자는 자신이 쓰는 모든 AI 요청을 proxy로 모아 ClickHouse에 기록했는데, 약 3개월 동안 5,019억 token, 249만 건의 요청이 압축 덕분에 5.9GB에 담겼습니다. 남의 데이터를 바라기보다 자기 사용 기록을 체계적으로 쌓는 편이 현실적인 데이터원이 될 수 있다는 뜻으로 읽힙니다.
데이터가 적은 상황에서 PewDiePie가 택한 학습 방법은 GRPO(Group Relative Policy Optimization, 같은 과제를 여러 번 시도하게 하고 상대적으로 잘한 시도를 강화하는 강화 학습 기법)입니다. 과정은 이렇습니다.
- 과제 하나를 모델에 16번 시도하게 합니다.
- 16번 중 한 번이라도 성공하면 그 시도를 좋은 행동의 학습 데이터로 씁니다.
- 성능 곡선이 올라가다 평평해지면 새 과제를 합성해 다시 학습합니다.
그는 열흘간 이 과정을 돌렸는데, 4일째에 기준에 맞는 과제가 바닥나 급히 추가 과제를 만들어야 했습니다. 성능 그래프는 상승, 정체, 그리고 합성 데이터 투입 후 재상승의 모양을 보였습니다. 그는 학습을 끝내는 일이 가장 어려웠다고 말합니다. 하루 더 돌리고, ablation 실험을 더 하고, 양자화와 benchmark를 더 하고 싶은 마음에 공개가 계속 밀렸고, 카운트다운 타이머까지 걸었다가 "준비되면 공개하겠다"는 안내문으로 바꿨습니다. 모델 학습에는 명확한 종료 지점이 없어서 식물을 키우듯 방향만 잡을 수 있을 뿐 과정을 통제할 수 없다는 점에서 공감이 가는 대목입니다.

▲ GRPO 반복 학습과 성능 곡선
여기서 직접 모델을 학습시키지 않는 개발자에게도 쓸모 있는 교훈이 나옵니다. 큰 문제 집합은 모델을 학습시키는 데만 쓰이는 것이 아니라 개발 환경을 개선하는 데도 쓰입니다. 코딩 agent가 도구 호출에 실패하거나 엉뚱한 길로 빠진 기록을 전부 남기고, 그것을 자동 eval(평가 문제 집합)로 바꾸면, 모델을 새로 학습시키지 않고도 CLAUDE.md 같은 설정 파일과 코드베이스 구조를 고쳐 agent의 성공률을 꾸준히 높일 수 있습니다.
개발자의 눈으로 본 한계: 로컬 소형 모델 대 frontier 모델
PewDiePie는 로컬 모델의 효율을 강조합니다. OpenAI와 Anthropic의 frontier 모델은 매개변수가 10조 개에 이른다는 소문이 있는데, 그가 추산하기로 이런 모델 하나를 돌리려면 자신의 고사양 장비 27대와 가정 150가구분의 전기가 필요합니다. 메일 분류 같은 단순 작업에 이런 모델을 부르는 것은 낭비라는 주장입니다.
개발자 관점의 반론은 두 갈래입니다.
첫째, 노트북에서 양자화한 Qwen 2.5나 Qwen 3 27B 같은 소형 모델이 frontier 모델에 맞먹는다는 기대는 잘못된 것으로 보입니다. 진지한 코드 설계에서 이런 모델의 결과물은 한참 못 미칩니다. 다만 PewDiePie는 GPU 여러 장을 단 워크스테이션을 갖고 있어서, 그의 fine-tuning 결과물은 일반 소비자 하드웨어의 타협을 피했을 가능성이 있습니다. 즉 Ajax의 90% 성공률을 아무 노트북에서나 기대하기는 어렵다는 뜻입니다.
둘째, 큰 모델이 실제로는 그렇게 비싸지 않습니다. Mixture-of-Experts(MoE, 질문마다 전체 매개변수가 아닌 일부 전문 하위 네트워크만 활성화하는 구조) 덕분에 수조 개 매개변수 모델에 질문을 보내도 실제 계산 비용은 전체 크기가 암시하는 것보다 훨씬 낮습니다. Claude Sonnet, Claude Opus, Llama 같은 모델은 빠르고 비용 대비 효율이 높습니다. 요리에 비유하면, 그릴드 치즈 샌드위치에 최고급 주방이 필요하지는 않지만 주방이 이미 있고 싸게 쓸 수 있다면 굳이 피할 이유가 없다는 것입니다. 작업 크기에 맞춰 모델을 고르는 데 지나치게 집착하는 것은 지금의 API 가격에서는 거의 의미가 없다는 판단입니다.
그래도 양쪽이 합의하는 지점이 있습니다. 암 치료 같은 먼 약속보다 로컬에서 메일을 자동으로 정리해 주는 것이 지금 당장 손에 잡히는 쓸모라는 점입니다.
정리: 누가 따라 할 만한가
PewDiePie의 프로젝트는 오픈소스 AI 워크플로와 로컬 자율 시스템이 빠르게 발전하고 있음을 보여 줍니다. 동시에 그 길에 어떤 비용이 따르는지도 숨기지 않습니다. 독자의 상황에 따라 권할 만한 행동을 정리하면 다음과 같습니다.
| 독자 유형 | 권할 만한 행동 |
|---|---|
| 일반 사용자 | Odysseus 같은 self-hosted 작업 공간을 메일, 일정, 검색 자동화에 써 볼 수 있지만, 검열을 제거한 모델에는 네트워크와 계정 접근 권한을 주지 않기 |
| 코딩에 AI를 쓰는 개발자 | 핵심 설계에는 frontier 모델을 쓰고, agent 실패 기록을 eval로 바꿔 CLAUDE.md와 코드베이스를 개선하기 |
| 직접 모델을 만들려는 사람 | 상용 API 출력의 distillation은 약관 위반과 계정 차단 위험이 크므로 피하고, 자기 사용 기록이나 합성 과제로 GRPO 같은 방법을 시도하기 |
| 모두 | AI가 코드를 써 주더라도 Git과 컴퓨터 과학 기초는 직접 익히기 |
자기 AI 환경을 갖는 것은 privacy와 통제권이라는 분명한 이점이 있습니다. 하지만 그 환경을 안전하게 유지하는 책임도 전부 자기 몫이 됩니다. 검열 제거와 distillation의 유혹보다, 실패를 평가 문제로 바꾸는 꾸준한 개선이 지금 가장 확실한 투자로 보입니다.


