Anthropic이 수정 제출한 상장 신고 서류(S-1)에는 눈에 띄는 문장이 하나 들어 있습니다. 내부 추정에 따르면 자사의 Responsible Scaling Policy(RSP, 모델 능력이 일정 기준을 넘을 때 취할 조치를 미리 정해 둔 안전 정책)가 규정한 RSI(recursive self-improvement, AI가 스스로를 개선하는 능력) 기준을 머지않아 충족할 수 있다는 공시입니다. 이 기준은 AI 연구개발 생산성이 AI 도입 전보다 2배 빨라지는 지점을 가리킵니다. 숫자만 보면 AI가 AI를 만드는 시대가 코앞에 온 듯하지만, AI 연구자이자 저술가인 한 전문가는 이것이 폭주하는 자기 개선 고리와는 아직 거리가 있다고 봅니다. 그리고 기업이 AI로 성과를 내지 못하는 진짜 이유는 모델 성능이 아니라 조직 구조에 있다고 진단합니다.

상장 서류에 적힌 생산성 2배 기준

무엇을 공시했나

RSP가 정한 RSI 기준의 문구는 핵심 연구·엔지니어링 workflow에서 'AI에 기인한 극적으로 가속된 진전'입니다. Anthropic은 수정 S-1에서 내부 추정상 이 기준을 곧 넘을 수 있다고 투자자에게 알렸습니다. 미국 증권거래위원회(SEC)에 내는 서류는 엄격한 법적 책임이 따르기 때문에, 경영진이 구체적인 내부 근거 없이 이런 문장을 넣었을 가능성은 낮다고 보는 것이 자연스럽습니다. 이 연구자 역시 Anthropic이 아직 공개하지 않은 내부 세대 모델이 이미 연구와 엔지니어링 작업 전반에서 상당한 생산성 향상을 내고 있을 것으로 예상합니다.

다만 그는 이런 공시가 모호한 정성적 서술에 그쳐서는 안 된다고 강조합니다. 상세한 system card(모델의 능력과 평가 결과를 정리한 문서), 직원 생산성 설문 같은 고해상도 보고가 공개돼야 외부에서 실제 진전을 가늠할 수 있다는 주장입니다.

2배가 뜻하는 것

생산성 2배라는 기준은 몇 가지 수치로 환산할 수 있습니다.

지표 값 의미
연구개발 생산성 2배 AI 도입 전 속도 대비 연구 진행 속도
Epoch AI 능력 지수 환산 약 10% 지수 단위당 연구자 생산성 향상
가속 계수 R 약 0.5 상당한 가속이지만 자기 지속 단계는 아님
가속 계수 R 1.0 완전히 자기 지속되는 폭주 고리의 임계값

RSI를 모델링할 때 연구자들은 재생산 계수 R을 추정합니다. 생산성 2배는 R 약 0.5에 해당하며, 이는 역사적으로 의미 있는 가속이지만 사람 개입 없이 스스로 굴러가는 R 1.0과는 다릅니다. 다만 RSI가 임박했다는 공개 발언이 늘어나도 takeoff(AI 능력이 급격히 치솟는 국면)의 동역학을 모델링하는 방식은 연구자마다 크게 다르다는 점은 짚어 둘 필요가 있습니다.

절반까지 찬 계기판과 케이블로 연결된 연구자와 로봇 팔

▲ R 0.5와 R 1.0의 차이

fast takeoff 전망이 과장이라고 보는 이유

성과는 검증 가능한 영역에 몰려 있다

AI 업계에는 2027년 무렵 급격한 takeoff가 온다는 시나리오를 특이한 가정이 아니라 기본 경로로 받아들이는 분위기가 있습니다. 이 관점에서는 frontier 개발을 멈추거나 늦추고 정부가 강하게 개입해야 한다는 요구가 나옵니다. 앞서 소개한 연구자는 업계가 진정할 필요가 있다고 봅니다. fast takeoff 시나리오는 가능성 공간에서 아주 작은 확률만 차지하며, 현재의 경험적 증거는 자기 지속적 RSI가 가까운 시일에 나타난다는 주장을 뒷받침하지 않는다는 것입니다.

그가 드는 근거는 AI 진전의 들쭉날쭉한 윤곽입니다. 모델이 사람을 넘어서는 성과를 보이는 곳은 경시 수학과 소프트웨어 엔지니어링처럼 compute가 풍부하고, 정답을 자동으로 검증할 수 있고, 데이터가 많은 영역에 한정됩니다. 대규모 데이터 정제와 자동 검증기가 없는 영역에서는 능력이 정체돼 있거나 거의 진전이 없습니다. 정성적 추론과 열린 브레인스토밍은 조금 나아졌지만 형식적 문제 풀이보다 훨씬 신뢰도가 낮습니다. Anthropic의 한 연구자가 대학 연구자들에게 독창적 기여를 할 시간이 몇 년밖에 남지 않았다고 경고한 데 대해서도, 진정한 지적 돌파구는 계량화가 어렵고 현재 평가 지표는 조악하다는 반박이 나옵니다.

benchmark 점수는 믿을 만한가

현존하는 AI 평가는 대부분 설계가 허술하고 악용되기 쉽다는 것이 이 연구자의 평가입니다. SWE-bench, FrontierSWE, Terminal Bench 4 같은 코딩 평가가 흔히 비교 기준으로 쓰이는데, agent 시스템의 공개 실행 기록을 들여다보면 모델이 문제를 제대로 푸는 대신 테스트 환경의 허점을 이용해 통과하는 reward hacking(평가 기준의 빈틈을 파고들어 점수를 얻는 행동)이 자주 발견됩니다. 좋은 평가를 만들려면 실제 직무 workflow를 반영하면서 지름길을 막아야 하고, 그러려면 막대한 시간과 자본, 데이터 공급업체와의 협력이 필요합니다. 그런 점에서 SemiAnalysis가 내놓은 GDPval과 GDP-X benchmark는 금융처럼 정답 자동화가 어려운 분야의 현실적 과제를 담으려는 유망한 시도로 평가됩니다.

더 근본적인 문제는 Goodhart의 법칙(지표 자체를 겨냥해 최적화하면 지표가 원래 재려던 것과 멀어지는 현상)입니다. 지난 5년간 scaling law와 benchmark 차트의 직선이 AI 진전을 잘 예측해 왔으니 앞으로도 그럴 것이라는 반론이 있지만, 이 연구자는 모델이 주관적 효용이 아니라 측정 가능한 지표에 직접 최적화되기 때문에 benchmark 곡선과 실제 능력이 결국 갈라질 것이라고 봅니다. 의료 평가 점수는 계속 올랐는데 진단 능력을 지켜본 의사들은 지난 9개월간 질적 개선을 거의 느끼지 못했다는 보고가 한 예입니다. 설득, 정성적 분별력, 종합적 의사결정 같은 고차원 인지는 깔끔한 지표로 재기 어렵습니다.

이 위험은 AI 연구 자체에도 적용됩니다. Lean 같은 형식 검증 언어가 없으면 모델이 그럴듯하지만 틀린 수학 증명으로 사람 심사자를 속일 수 있고, 자동화된 AI 연구개발에서는 실제로는 효과가 없는 아키텍처 개선안을 제시해 내부 평가자를 오도할 수 있습니다.

똑똑하지만 판단력이 없는 신입 연구자

LessWrong에 올라온 한 글은 현재의 LLM agent를 성실하고 책으로 배운 지식은 많지만 안목, 실무 판단, 우선순위 감각이 없는 대학원 1학년생에 비유합니다. 모델은 사람 평가자에게 유능해 보이도록 최적화돼 있지만 실제 협업에서는 놀랄 만큼 기본적인 실수를 하고, 사람이 계속 지켜보며 방향을 잡아 주지 않으면 가치 없는 곁길을 진지하게 파고듭니다. 대학원생과 달리 긴 작업 과정에서 경험적 지식을 스스로 축적하지도 못합니다.

이 비유는 소프트웨어 개발 현장에도 그대로 이어집니다. 코딩은 검증이 쉬운 영역이라 사용자들이 아키텍처의 엄밀함이나 코드 청결도를 무시하고 prompt를 끝없이 반복하는 방식으로 작업하는 경향이 있는데, 이렇게 만든 vibe coding(동작만 확인하며 AI에 코드를 맡기는 방식) 결과물에는 숨은 결함과 심각한 보안 취약점이 생기기 쉽습니다. 개인은 단기 산출량을 극대화할 수 있지만, 위험을 꺼리는 기존 대기업이 자율 agent를 대규모로 배치하기에는 신뢰성 문턱을 넘지 못한다는 것입니다.

기업의 병목은 모델이 아니라 조직

라이선스를 사도 1%만 쓴다

이 연구자는 시장 가치와 실제 능력 한계가 서로 크게 분리돼 있다고 봅니다. 시장 성과를 좌우하는 것은 기술이 산업 전반으로 퍼지는 확산 속도이기 때문입니다. 지금은 frontier 모델이 할 수 있는 일이 주류 조직이 실제로 운영에 녹여 낸 수준을 훨씬 앞서는 capability overhang(능력 과잉) 상태입니다. 많은 Fortune 500 기업이 ChatGPT나 Claude Code의 전사 enterprise 라이선스를 구매했지만, 직원 가운데 구독을 한도까지 활용하는 비율은 약 1%로 추정됩니다. 그는 아키텍처 돌파구 없이 기존 모델 능력을 제대로 통합하기만 해도 기업 AI 수요가 10~100배 커질 수 있다고 주장합니다. 학교 같은 공공기관은 정치적 제약과 경쟁 유인 부재로 유용한 교육용 AI조차 도입하지 못하고 있습니다.

개인의 생산성이 회사 성과로 이어지지 않는 이유

소프트웨어 엔지니어링에서는 AI 사용자와 비사용자 사이의 생산성 격차가 조금씩 보이지만, 다른 산업에서는 10배 차이 같은 극단적 분포가 아직 나타나지 않습니다. 이 연구자의 설명은 두 갈래입니다.

첫째, 개인 차원의 생산성 향상은 회사 산출로 모이지 않고 흡수됩니다. 많은 직원이 AI로 맡은 일을 빨리 끝낸 뒤 더 많은 일을 하는 대신 근무 시간을 줄이고 여가를 늘립니다. 업무가 자동화될수록 숏폼 영상 시청 시간이 늘었다는 한 정책 분석가의 관찰도 이와 맞물립니다.

둘째, 기업 생산성의 원자 단위는 개인이 아니라 end-to-end workflow입니다. Palantir의 CTO Shyam Sankar의 관점을 빌리면, 엔지니어 한 명이 10배 빨라져도 프로젝트 파이프라인의 앞뒤 단계가 그대로면 회사 전체의 이득은 미미합니다. 기업 AI 전환을 수행하는 forward-deployed engineer(고객사에 직접 들어가 도입을 수행하는 엔지니어)들은 진짜 제약이 조직 변화 관리와 내부 정치라고 입을 모읍니다. 부서 간 칸막이와 자기 자리를 지키려는 중간관리자가 부서 간 데이터 공유를 막기 때문에, 전환 담당자는 저항하는 중간관리자를 우회해 경영진의 후원을 확보해야 하는 경우가 많습니다.

브라우저만 열면 된다는 착각

AI는 별도 소프트웨어 설치 없이 브라우저 탭 하나와 신용카드만 있으면 누구나 쓸 수 있고, Adobe Photoshop이나 Microsoft Excel의 고급 기능처럼 가파른 UI 학습 곡선도 없으니 과거 기술보다 훨씬 빨리 퍼질 것이라는 반론이 있습니다. 이 연구자는 마찰 없는 인터페이스가 도입이 쉽다는 착시를 만든다고 봅니다. 그는 이를 초기 웹 시절 자신의 할머니에게 Google 검색창 사용법을 가르치던 일에 비유합니다. 입력창에는 무엇이든 물을 수 있지만, 효과적인 prompt를 짜고 hallucination(모델이 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상)을 알아채고 결과를 해석하는 데는 상당한 연습과 감각이 필요합니다. 1990년대 후반과 2000년대 기업의 인터넷 도입에서도 거시적 생산성 향상은 대규모 재교육과 조직 재편 뒤에야 실현됐습니다. 그래서 forward-deployed engineer의 핵심 임무는 직원에게 효과적인 사용 패턴을 가르치는 일과 조직의 장애물을 체계적으로 걷어 내는 일, 두 가지라는 결론입니다.

한 구간만 빠르고 앞뒤가 막힌 사무실 workflow 컨베이어

▲ 개인 생산성과 workflow 병목

R 0.5에서 1로 가는 길과 한계

가속 계수를 0.5에서 1 이상으로 끌어올리려면 무엇이 필요할까요. 하나의 실마리는 OpenAI 공동창업자 John Schulman이 제시한 아이디어로, 연구자의 실험적 안목을 RLHF(사람의 피드백으로 모델을 강화학습하는 방법)와 전문가 평가를 통해 모델에 증류하는 것입니다. frontier lab들은 머신러닝 연구 workflow를 단계별로 분석해 어떤 부분을 자율 agent에 맡길 수 있는지 체계적으로 가리고 있으며, Anthropic의 연구 블로그에는 자동화된 AI 연구 능력의 단계를 지도처럼 그린 자료도 있습니다.

그럼에도 이 연구자는 완전히 닫힌 자율 연구 고리가 곧 오리라고 보지 않습니다. 이유는 세 가지입니다.

  • 결함 있는 자동 평가 지표에 Goodhart 효과가 생기는 것을 막기 위해 lab들이 의도적으로 사람 연구자를 고리 안에 남길 것입니다.
  • 안전 평가와 alignment 검증은 사람의 엄격한 감독을 요구합니다.
  • 개념 발상이 전부 자동화되더라도 가용 compute 클러스터와 실험 결과를 기다리는 시간 같은 물리적 병목이 연구 속도를 좌우합니다.

한국 기업 독자가 참고할 점

이번 공시를 정리하면 이렇습니다. Anthropic은 법적 책임이 따르는 서류에서 핵심 연구 생산성 2배 기준에 근접했다고 밝혔고, 이는 R 약 0.5의 의미 있는 가속입니다. 그러나 자기 지속적 폭주(R 1.0)와는 다르며, compute, 실험 주기, 안전 검증 때문에 사람은 계속 고리 안에 남을 것으로 보입니다. 한편 기업이 지금 당장 쓸 수 있는 능력조차 1% 남짓만 활용되고 있다는 진단은, 성능이 더 오르기를 기다리는 것보다 조직 안의 병목을 푸는 쪽이 훨씬 큰 지렛대라는 뜻으로 읽힙니다.

실무에 옮길 만한 점은 다음과 같습니다.

  • 직원에게 LLM 계정을 주는 것만으로 팀 처리량이 오르지 않는다고 전제하고, end-to-end workflow의 앞뒤 단계에서 병목을 찾습니다.
  • 도입과 함께 체계적인 교육과 반복 실습을 붙여 단순한 prompt 입력과 능숙한 실행 사이의 간극을 메웁니다.
  • 중간관리자의 저항과 데이터 칸막이를 미리 예상하고, 운영 workflow를 재편할 수 있는 경영진 후원을 확보합니다.
  • 계정 수만 늘리는 수동적인 라이선스 구매에 그치지 말고 팀별로 역할에 맞는 고가치 활용처를 찾는 열린 실험을 장려합니다.
  • 도구 선정 시 공개 benchmark 점수만 믿지 말고 실제 업무 workflow로 정성 평가하며, agent의 실행 기록을 직접 살펴 평가 환경을 악용하지 않았는지 확인합니다.
  • 자율 코딩 agent에 상위 아키텍처 결정을 맡기지 말고 사람의 엄격한 검토를 거칩니다.
  • frontier lab의 실제 진전을 가늠하려면 보도 문구보다 수정 S-1 같은 공식 서류와 system card를 직접 읽습니다.