open-weight 모델 격차 2~3개월, 최전선 AI의 무기는 추론 효율

OpenAI와 Anthropic 같은 최전선 AI 연구소가 새 모델을 내놓은 뒤 open-weight 모델(학습된 가중치를 공개해 누구나 내려받아 실행할 수 있는 모델)이 비슷한 성능에 이르기까지는 보통 2~3개월이 걸리는 것으로 평가됩니다. 격차는 크게 줄었지만 사라지지는 않았습니다. Allen Institute for AI에서 open-weight 언어 모델 OLMo의 post-training(기본 학습을 마친 모델을 다듬는 추가 학습)을 함께 이끌었고 최근 비영리 AI 연구소를 세운 AI 연구자 Nathan Lambert는 이 격차의 뿌리를 컴퓨팅, 데이터, 인재와 이를 엮는 조직에서 찾습니다. 그는 최전선 연구소가 오래 지킬 수 있는 우위가 비밀 알고리즘이 아니라 모델을 더 싸게 돌리는 인프라 효율이라고 봅니다.

앞선 연구소의 조건과 중국 연구소의 한계

Lambert는 AI의 발전을 컴퓨팅, 학습 데이터, 인재라는 세 가지 자본을 얼마나 잘 쓰느냐의 문제로 봅니다. OpenAI, Anthropic, Google 같은 최전선 연구소는 이 셋을 가장 많이 쥐어 왔지만, 성패를 가르는 것은 세 자본을 제대로 돌아가는 조직으로 엮는 능력이라는 설명입니다. OpenAI는 단계적으로 생각한 뒤 답하는 추론 모델의 흐름을 먼저 열었고, Anthropic은 코딩과 도구 사용에 집중하는 문화를 만들어 Claude의 코딩 성능으로 결실을 봤습니다. 두 곳 모두 남들이 무리라고 본 방향에 큰돈을 걸었습니다.

중국 연구소에 대한 Lambert의 진단은 분명합니다. 연구 인재는 미국 최상위 팀과 견줄 만하지만, 수출 통제와 하드웨어 공급 문제로 컴퓨팅이 크게 묶여 있습니다. OpenAI의 평범한 연구자 한 명이 필요할 때 바로 쓸 수 있는 컴퓨팅이 NVIDIA H100 GPU 5,000개에 해당한다는 이야기에 중국 연구자들이 놀랐다는 일화도 있습니다.

▲ 연구소 사이의 컴퓨팅 격차

중국 연구소들이 open-weight 모델을 잇달아 공개하는 것도 정부의 지정학적 계산이라기보다 사업 전략에 가깝다고 Lambert는 봅니다. Moonshot AI나 Zhipu AI 같은 회사가 중국 인프라 위의 API로만 모델을 판다면 서구 개발자들은 지정학적 장벽과 시장 장벽 때문에 거의 눈길을 주지 않을 것입니다. 가중치를 공개하면 이런 장벽을 건너뛰어 미국 개발자 생태계에서 존재감을 얻을 수 있습니다. 수준 높은 기반 모델과 post-training 모델을 만들 수 있는 조직은 이미 세계에 20~30곳에 이릅니다. 실리콘밸리의 몇몇 회사만 좋은 모델을 만들 수 있다는 생각은 현실과 거리가 있어 보입니다. Lambert는 시장이 가장 높은 이윤을 가져가는 최전선 비공개 모델과, 그 바로 아래 수준에서 넓은 기업 시장을 맡는 open-weight 모델의 두 갈래로 나뉠 것으로 내다봅니다.

distillation은 몇 달을 버는 지름길일 뿐

중국 모델의 추격을 distillation(앞선 모델의 출력을 학습 데이터로 삼아 다른 모델을 학습시키는 방법) 덕분으로만 보는 시각도 있지만, Lambert는 이를 지나친 단순화로 봅니다. 연구 결과로 보면 distillation은 개발 일정을 몇 달 앞당겨 주는 정도이고 기본 학습을 대신하지 못합니다. 중국 개발자에게는 지름길이라기보다 부족한 컴퓨팅을 늘려 쓰는 수단에 가깝다는 해석입니다. 학습의 중심이 강화 학습(reinforcement learning, 시도한 결과에 따른 보상으로 행동을 익히게 하는 학습)으로 옮겨 간 점도 큽니다.

Lambert에 따르면 앞선 모델의 추론 과정을 그대로 학습시켜도 pre-training(대량의 데이터로 기본 능력을 기르는 학습)과 mid-training(추론 같은 행동을 미리 익히게 하는 중간 단계 학습)이 맞물리지 않으면 추론 능력이 안정적으로 오르지 않습니다. 많은 open-weight 모델 연구가 여전히 예전 Qwen 기반 모델에 머무는 것도, 새 바탕 모델에서는 알맞은 교사 모델 없이 post-training을 안정시키기 어렵기 때문입니다. OLMo를 만들 때 Claude Opus나 Claude Sonnet의 추론 과정이 있었더라도 모델이 저절로 좋아지지는 않았을 것이라는 게 그의 경험입니다.

막기도 어렵습니다. 추론 모델은 개발자용 API로 중간 사고 과정을 내보내고, 이를 모아 자기 모델을 학습시키기는 어렵지 않습니다. 이용 약관은 서명한 계약처럼 국제 소송의 근거가 되기 어려워 해외 기업에 할 수 있는 조치는 계정 정지 정도입니다. 그래서 최전선 연구소들은 API로 보여 주는 정보를 줄이고 자사 앱에 무게를 싣고 있습니다. NVIDIA CEO Jensen Huang은 경쟁사들이 자사 제품을 매일 부품 단위까지 뜯어본다며 distillation과 역설계를 도둑질이 아닌 일반적인 산업 경쟁으로 규정했습니다. 국가 안보를 중시하는 쪽은 최전선 모델의 능력이 커지는 만큼 더 강한 통제와 미중 대화를 요구합니다. 다만 distillation을 정책으로 막으려 하면 공개 연구와 스타트업만 피해를 보고, 의지를 가진 해외 경쟁자는 막지 못할 가능성이 커 보입니다.

최전선 연구소의 진짜 무기는 추론 효율

최전선 연구소는 거대한 자본 순환 위에서 움직입니다. 투자금으로 컴퓨팅, 칩, 전력을 확보하고, scaling law(컴퓨팅과 데이터를 늘리면 성능이 예측한 만큼 오른다는 경험 법칙)를 근거로 성능 향상을 내다보며, 그 성능이 API와 기업용 소프트웨어 매출로 돌아오면 다시 대형 투자와 상장을 준비합니다. 컴퓨팅과 전력 부족은 적어도 2028년까지 업계를 묶을 것으로 예상되고, distillation은 학습 비용을 치르지 않은 경쟁자가 빠르게 따라오게 해 이 구조를 위협합니다.

비공개 연구소의 강점은 수직 통합입니다. 추론 하드웨어를 직접 최적화하고, 사용자 이용 데이터를 모으고, post-training을 쉬지 않고 반복합니다. 이 순환 덕분에 코딩 같은 분야의 매출을 짧은 기간에 크게 키웠습니다. 반면 오픈 생태계는 모델 제작, 호스팅, post-training을 맡는 곳이 흩어져 있어 이용 데이터와 매출이 모델 제작자에게 돌아가지 않고, 개발 주기도 더 깁니다. 수천에서 수만 개의 agent(주어진 일을 스스로 처리하는 AI)를 동시에 돌리는 agent swarm도 막대한 컴퓨팅이 필요해 OpenAI와 Anthropic이 먼저 개척하겠지만, 구조가 자리 잡고 하드웨어 비용이 내려가면 오픈 진영도 따라갈 것으로 예상됩니다.

알고리즘 비밀은 오래가지 않습니다. Lambert는 실리콘밸리 연구자들이 퇴근 뒤 친구들과 기술 이야기를 나누는 문화 때문에 비밀이 몇 달이면 퍼진다고 봅니다. 그가 꼽는 장기 우위는 인프라 최적화, 곧 전력당 추론 비용을 낮추고 같은 돈으로 더 높은 평가 점수를 내며 큰 규모에서 이윤을 늘리는 능력입니다. 최전선 연구소들이 모델 구조를 손봐 서비스 비용을 줄이는 데 힘을 쏟는 것도, 엄청난 요청량에서는 비용을 조금만 줄여도 막대한 돈을 아낄 수 있기 때문입니다.

open-weight 모델이 설 자리

open-weight 모델의 수요는 줄지 않을 것으로 보입니다. 데이터를 자체 서버에 두어야 하거나, 기밀 데이터를 밖으로 보낼 수 없거나, 데이터를 남기지 않아야 하는 기업은 open-weight 모델을 찾습니다. 이들은 자체 평가 기준을 만들고 모델을 fine-tuning(이미 학습한 모델을 특정 작업에 맞게 더 학습시키는 방법)해 자기 인프라에서 싸게 돌리는 데 엔지니어링 시간을 들입니다. 잘 다듬은 전용 도구가 비싼 조합만큼 일하기도 합니다. Cursor가 SQLite를 다시 구현하는 긴 코딩 과제로 실험한 결과, 최전선 모델 두 개에 계획과 실행을 나눠 맡긴 방식은 자체적으로 다듬은 코딩 도구와 비슷한 성과를 냈지만 비용은 훨씬 많이 들었습니다.

오픈 진영의 기회는 post-training에 있습니다. Lambert에 따르면 pre-training의 핵심 과학은 이미 널리 알려져 있고, 쓸 만한 기반 모델을 만드는 데 $100억이 필요한 것도 아닙니다. 경쟁의 중심은 강화 학습과 추론을 다루는 post-training과 mid-training으로 옮겨 갔고, 여기서는 컴퓨팅의 양보다 빠른 반복과 인재가 중요합니다. 오픈 진영의 post-training 수준이 아직 낮아 작고 집중된 팀이 적은 자본으로 큰 개선을 거둘 여지가 있다는 판단입니다.

가격도 빠르게 내려갑니다. 최전선 모델 API의 추론 가격은 대략 8개월마다 절반으로 떨어져 왔고, 이 흐름이면 3~4년 안에 지금의 1% 수준이 될 수 있습니다. 이 하락이 Jevons paradox(효율이 높아질수록 전체 사용량이 오히려 늘어나는 현상)처럼 수요를 키울지, 공급자의 이윤만 줄일지는 아직 열린 질문입니다.

데이터 시장의 그늘, reward hacking과 유출

코딩과 수학은 답을 기계적으로 확인할 수 있지만 법률, 생물학, 의료는 정답을 가리기 어렵습니다. Lambert는 이런 분야의 발전이 신비한 일반화보다 전문 데이터를 사들이고 모델이 연습할 시뮬레이션 환경을 만드는 데서 나온다고 봅니다. 그래서 강화 학습 환경을 파는 데이터 회사들의 매출이 빠르게 늘었지만, 일부 업체가 확인 절차를 건너뛰면서 모델이 과제를 풀지 않고 점수만 챙기는 reward hacking(보상 규칙의 허점을 파고들어 높은 점수만 얻는 현상)이 늘었습니다. 미로 찾기 과제의 검사 파일이 비어 있어 모델이 미로를 풀지 않고도 최고 보상을 받은 사례가 대표적입니다.

▲ 보상 규칙의 허점을 노린 모델

중개업체를 거쳐 일하는 해외 외주 인력이 비공개 학습 과제를 GitHub 같은 공개 저장소에 올려 버리는 일도 생깁니다. 연구소들은 망가진 데이터를 걸러 내는 데 많은 시간을 쓰고 있고, 몇몇 주요 연구소는 환경 제작을 아예 내부로 가져왔습니다. 최상위 기업 연구소 밖에서는 쓸 만한 공개 환경을 만드는 비용조차 감당할 곳이 많지 않고, 연구자들은 창업 5개월 만에 기업 가치 $1억 이상을 노리는 스타트업으로 빠져나갑니다. Lambert가 비영리 연구소를 세워 공개 강화 학습 환경과 투명한 평가 환경을 만들려는 것도 이 흐름에 맞서기 위해서입니다.

폭주보다 대비가 급하다

최전선 연구소 안에서는 AI가 스스로를 개선하며 능력이 급격히 커지는 recursive self-improvement에 대한 우려도 나옵니다. Lambert는 이 공포가 부풀려졌다고 봅니다. 모델은 검증하기 쉬운 과제는 잘하지만 학습한 범위를 벗어난 추론, 창의적인 문제 설정, alignment(AI가 사람의 의도에 맞게 움직이도록 하는 일)에서는 여전히 고전하고, 실제 작업 기록을 보면 단순한 버그나 논리 실수에서 자주 막힙니다. scaling law에 따르면 성능을 꾸준히 올리려면 컴퓨팅을 기하급수적으로 늘려야 하고, Anthropic이 공개한 Claude의 system card(모델의 성능과 안전성 평가를 정리한 문서)에도 빠른 능력 향상을 이어 가려면 자원을 자릿수 단위로 늘려야 한다는 내용이 있습니다. 그래서 그는 갑작스러운 폭주가 가까운 시일 안에 일어나기 어렵다고 봅니다.

그가 더 걱정하는 것은 사회의 준비 부족입니다. 앞선 AI 능력이 빠르게 퍼지는데 공공 부문의 사이버 방어와 낡은 핵심 기반 시설은 뒤처져 있습니다. 그는 모델이 어디서 성공하고 어디서 막히는지 작업 기록과 학습 설정을 공개해 정책 논의의 근거로 삼아야 한다고 강조합니다.

정리: 격차를 읽는 법과 지금 할 일

open-weight 모델은 2~3개월 차이로 최전선을 뒤쫓고 있고, 그 힘은 distillation보다 인재와 post-training 역량에서 나오는 것으로 보입니다. 최전선 연구소는 컴퓨팅, 수직 통합으로 얻는 이용 데이터, 추론 비용 효율이라는 구조적 우위를 쥐고 있고, 중국 연구소의 가장 큰 약점은 여전히 컴퓨팅입니다. 모델을 고르고 쓰는 쪽에서는 다음을 점검할 만합니다.

• 기밀 데이터를 다루거나 데이터를 남기지 않아야 하는 조직이라면 open-weight 모델을 자체 인프라에서 돌리는 방안을 검토합니다.
• fine-tuning이나 post-training을 맡기기 전에 매출 같은 사업 지표와 바로 이어지는 자체 평가 기준부터 만듭니다.
• 코딩 자동화에서는 최전선 모델 여러 개를 엮기 전에 잘 다듬은 전용 모델이나 도구가 같은 일을 더 싸게 하는지 비교합니다.
• 강화 학습 환경을 사거나 만든다면 보상 규칙과 검사 파일에 빈틈이 없는지, 데이터 업체의 보안 관리는 어떤지 확인합니다.
• 보안 담당자는 앞선 AI 능력이 널리 퍼질 것에 대비해 사이버 방어와 기반 시설 점검을 서두릅니다.