Anthropic이 2026년 10월 26일 미국 증권거래위원회(SEC)에 제출한 상장 등록 서류 Form S-1에는 보기 드문 고백이 담겨 있습니다. AI를 써서 더 유능한 AI를 만드는 일이 상당한 안전 위험, 나아가 존재론적 위험이 될 수 있다는 경고입니다. 그런데 같은 서류는 바로 그 일, 즉 Claude가 다음 세대 Claude를 만드는 재귀적 개발을 회사 사업 전략의 중심 기둥으로 내세웁니다. 위험하다고 적은 일을 가장 빠르게 하겠다고 투자자에게 약속한 셈입니다. 이 글은 그 서류가 밝힌 수치와 논리를 따라가며, 이 고리가 왜 한 회사의 선택만으로는 느려지지 않는지, 그리고 독자가 이 경고를 어떻게 읽어야 하는지 정리합니다.
서류가 말하는 '고리 닫기'
S-1은 AI 인터페이스의 진화를 세 단계로 그립니다. 비밀번호 재설정처럼 좁은 질문에 한 번 답하는 챗봇, 문서 요약처럼 앱 안에서 특정 작업을 돕는 copilot, 그리고 며칠이나 몇 주에 걸친 열린 과제를 판단과 반복, 도구 접근을 동원해 스스로 수행하는 가상 협업자입니다. Anthropic은 Claude를 세 번째 단계, 즉 사람의 감독 없이 몇 시간에서 몇 주까지 이어지는 과제를 뛰어난 동료처럼 주도성과 자기 교정, 판단력을 갖고 처리하는 존재로 설계하고 있다고 밝힙니다.
이미 Anthropic 내부 엔지니어링 파이프라인에서는 현재 세대 Claude가 코드를 쓰고 실험을 돌리며 다음 세대 Claude 모델을 만드는 데 투입돼 있습니다. 회사는 AI가 자기 후속 모델을 설계해 내는 이 순간을 '고리 닫기(closing the loop)'라고 부릅니다. 서류에는 두 개의 플라이휠 그림도 실려 있습니다. 더 나은 모델이 더 많은 쓰임새와 더 많은 피드백을 낳는 '개선 고리'와, 더 높은 성장이 더 많은 투자와 더 큰 역량을 낳는 '투자 고리'가 Claude를 중심에 두고 맞물려 돕니다.
Anthropic은 이 고리 닫기가 frontier AI(가장 앞선 수준의 AI) 개발에서 가장 중요한 구조적 우위 가운데 하나라고 단언합니다. 그리고 투자자에게 분명히 경고합니다. 경쟁사가 AI로 혁신 주기를 가속하는 데 성공하는데 자신들이 그렇게 하지 못하면 점점 뒤처질 위험이 있다는 것입니다. 다만 한 가지는 짚어 둘 필요가 있습니다. S-1은 법적 구속력이 있는 등록 서류이지만, 동시에 회사 가치를 투자자에게 알리는 마케팅 문서이기도 합니다. 경고와 자신감이 한 문서에 공존하는 데는 그런 배경도 있다고 보는 편이 안전합니다.
숫자는 전략을 그대로 따라간다
말이 아니라 돈의 흐름을 보면 이 전략이 실제로 실행되고 있는지 확인할 수 있습니다. 2026년 상반기 Anthropic의 매출은 약 $165억~170억에 이릅니다. 매출 원가, 영업·마케팅비, 일반관리비는 통상적인 수준이고, 일반관리비는 오히려 소박합니다. 최첨단 AI 회사이면서도 인사 관리에는 여전히 Workday를 쓴다는 대목이 그 점을 보여 줍니다. 그런데 연구개발비가 압도적으로 커서 회사는 상반기 영업손실을 냈습니다. 벌어들인 돈 대부분을 다음 모델을 만드는 데 쏟아붓는 구조입니다.
생산성 지표는 더 극적입니다. 직원 수는 약 600명 수준으로 늘었는데, 직원 1인당 매출은 2025년 이전 약 $100만에서 2026년 9월 $600만 이상으로 뛰었습니다. 개발자 한 사람이 기여하는 코드량은 2025년 이전 평균 대비 6~7배로 늘었고, 분기별 그래프는 2025년 중반부터 급격히 가팔라집니다.
Claude Code 세션의 성공률도 과제 난이도별로 공개돼 있습니다.
| 과제 유형 | 2025년 8월 | 2026년 9월 |
|---|---|---|
| 사소한 과제 | 약 95% | 약 95% |
| 일상적 과제 | 약 80% | 약 90% |
| 실질적 과제 | 약 60% | 약 90% |
| 열린 문제 | 약 15% | 약 85% |
더 눈여겨볼 것은 작업의 주도권이 누구에게 있는지를 나타낸 자동화 구성 그래프입니다. 2025년 8월부터 2026년 8월까지 내부 작업 가운데 AI가 단순히 돕기만 하는 비중은 약 60%에서 20% 아래로 떨어졌습니다. AI와 사람이 협업하는 비중은 2026년 5~6월 무렵 약 75%로 정점을 찍은 뒤 서서히 줄어듭니다. 그리고 AI가 주도하는 비중은 2026년 2월 거의 0%에서 8월 약 25%로 올라왔습니다. 월간 회계 결산을 맞추고, 차이를 감사하고, 경영진 해설을 초안하고, CFO 보고 자료를 만든 뒤 최종 서명만 담당자에게 넘기는 식의 일을 Claude가 통째로 맡는다는 사례도 실려 있습니다. Anthropic의 자체 전망으로는 AI가 스스로 자기 코드를 쓰고 다듬는 완전한 재귀적 자기 개선이 1~2년 안에 나타날 수 있습니다.

▲ AI 작업 주도권의 이동
왜 한 회사가 멈춰도 고리는 멈추지 않는가
여기서 이 글의 핵심 질문이 나옵니다. 위험을 아는 회사가 왜 속도를 늦추지 않을까요. S-1의 논리를 그대로 따라가면 답은 간단합니다. 고리 닫기는 경쟁 우위이고, 그 우위를 포기하면 경쟁사에 뒤처진다는 것입니다. 개선 고리와 투자 고리가 맞물린 구조에서는 한 회사가 속도를 늦추는 순간 피드백과 자본이 다른 회사로 흘러갑니다. 이것이 S-1이 투자자에게 밝힌 위험 요인의 한 축입니다. 필자가 보기에 이것은 어느 한 경영진의 의지로 풀리는 문제가 아니라 구조의 문제로 읽힙니다.
더 어려운 문제는 가속이 시작됐는지 제때 알 수 있느냐입니다. AI 전망 연구 그룹 Situational Awareness의 그래프는 GPT-4를 기준으로 정규화한 유효 연산량을 2018년부터 2030년까지 그리며, 미취학 아동 수준의 GPT-2, 초등학생 수준의 GPT-3, 똑똑한 고등학생 수준의 GPT-4를 지나 자동화된 AI 연구, 그리고 초지능으로 이어지는 경로를 보여 줍니다. 이 경로에서 AI가 AI를 최적화하기 시작하면 완만하던 곡선이 거의 수직에 가깝게 꺾입니다. 이른바 지능 폭발(intelligence explosion)입니다.
Anthropic은 S-1에서 AI가 이끄는 가속에 관한 자사의 운영 데이터 대부분이 지연 지표(lagging indicator), 즉 일이 벌어진 뒤에야 측정되는 지표에서 나온다고 인정합니다. 그래서 경영진과 외부 관찰자 모두 의미 있는 가속이 이미 일어난 한참 뒤에야 그 사실을 알아차릴 수 있다고 경고합니다. 바로 이 인정이 유력 연구자와 안전 옹호자들이 frontier AI 연구소에 대한 정부의 독립 점검을 요구하는 이유로 읽힙니다. 회사 스스로도 실시간으로는 모른다고 말하고 있기 때문입니다.
아직 사람에 못 미친다는 반론
초지능이 임박했다는 말은 과장된 공상과학처럼 들릴 수 있고, 상업적 관심을 끌기 위한 선전이라는 의심도 있습니다. 이 의심을 뒷받침하는 자료도 있습니다. Epoch AI의 InnovationEval benchmark(모델 성능을 재는 표준 평가)는 2026년 이전의 오염되지 않은 데이터로 모델이 과거의 기계 학습 돌파구를 독자적으로 다시 발명할 수 있는지 시험합니다. 사람 연구자의 독창적 발명을 100%로 놓았을 때 GPT-5.6 Sol은 약 12%, Claude Fable 5는 약 2%에 그쳤습니다. 코드 산출량이 아무리 늘었어도 새로운 개념을 발명하는 능력은 사람에게 한참 못 미친다는 뜻입니다.
그러나 이 반론이 위험을 없애지는 않습니다. 외부 관찰자가 재귀적 자기 개선을 믿는지는 중요하지 않습니다. 중요한 것은 Anthropic이 그것을 굳게 믿고, 수십억 달러를 걸고, 그 믿음에 맞춰 회사를 운영하고 있다는 사실입니다. 전망이 맞든 틀리든 회사의 행동은 이미 그 전제 위에서 이뤄지고 있습니다.
오류가 세대를 건너 전파되는 위험
S-1이 밝힌 또 하나의 위험은 자율적으로 만들어진 모델 세대 사이에서 체계적 오류가 전파되는 문제입니다. 서류는 자사 AI 시스템에 대한 내부 의존이 깊어질수록 미묘한 결함이나 편향, 알고리즘 오류가 아무도 모르는 사이 다음 버전으로 번질 수 있다고 경고합니다.
이 위험이 특히 날카로운 이유는 감독 구조가 원형으로 닫혀 있기 때문입니다. Anthropic 코드의 대부분을 Claude가 쓰고, 회사의 안전 연구도 Claude가 수행합니다. 숨은 결함과 사각지대를 가질 수 있는 바로 그 모델이 오류를 감사하고 잡아내고 막는 일을 맡고 있는 것입니다. 점검하는 쪽과 점검받는 쪽이 같은 시스템이면, 둘이 같은 맹점을 공유할 때 그 맹점은 어디에서도 드러나지 않습니다. 필자가 보기에 이것은 단일 실패 지점을 회사 구조의 한가운데에 두는 설계로 읽힙니다.

▲ 세대를 건너는 오류 전파
전원을 뽑으면 되지 않느냐는 질문
AI가 위험하게 행동하면 끌 수 있는 kill switch(비상 정지 장치)가 있느냐는 질문이 자주 나옵니다. 기술적으로는 있습니다. frontier 모델은 물리적 데이터센터에서 돌아가므로 운영자가 전원을 끊을 수 있습니다.
문제는 그것이 실제로는 거의 의미가 없다는 점입니다. 가속은 지연 지표로만 확인되고, 오류 전파는 재귀 고리 안에서 소리 없이 진행됩니다. 통제 불능 사태가 벌어진다면 사람이 그것을 알아차리기 전에 이미 벌어져 있을 가능성이 큽니다. 의사 결정권자가 비상 정지 장치를 눌러야겠다고 깨닫는 시점에는 이미 너무 늦었을 가능성이 큽니다. 전원 차단이라는 안전장치는 존재하지만, 그것이 주는 안도감은 착각에 가깝다는 뜻입니다.
이 경고를 어떻게 읽어야 하나
정리하면 이렇습니다. Anthropic은 알려진 위험에도 불구하고 Claude로 더 강한 Claude를 만드는 일에 재무적으로도 운영상으로도 전념하고 있습니다. 내부 지표는 생산성과 자율 작업 비중이 급격히 뛰었음을 보여 주고, 외부 benchmark는 독창적 발명 능력이 아직 사람에 한참 못 미침을 보여 줍니다. 두 사실은 모순이 아닙니다. 회사는 두 번째 사실에도 불구하고 첫 번째 방향으로 가고 있고, 그 과정의 가속과 오류는 사후에만 측정됩니다.
독자가 할 수 있는 일은 다음과 같습니다.
- AI 기업의 실제 위험 인식과 자본 배분은 보도자료가 아니라 S-1 같은 규제 서류의 위험 요인 항목에서 확인합니다. 다만 그 서류가 투자 유치 문서이기도 하다는 점을 함께 염두에 둡니다.
- AI 도입 효과를 볼 때는 완료 속도보다 작업 주도권이 어디에 있는지, 즉 돕는 단계인지 협업 단계인지 주도 단계인지를 봅니다. 이 전환이 조직의 실제 의존도를 드러냅니다.
- 산출량 같은 지연 지표만으로 안전을 판단하지 않습니다. 빠른 재귀적 가속은 배포 뒤까지 체계적 결함을 가릴 수 있습니다.
- 자사 AI가 자기 코드와 자기 안전성을 평가하는 구조를 그대로 두지 말고, 독립된 외부 감독 장치를 요구하거나 마련합니다. 이 서류가 스스로 밝힌 지연 지표 문제는 외부 점검 요구의 가장 강한 근거가 됩니다.
이 서류는 한 회사가 자신이 위험하다고 적은 길을 왜 가장 빨리 걷는지 설명해 줍니다. 그 답이 경쟁 구조에 있다면, 속도를 조절하는 일도 한 회사 바깥에서 이뤄져야 한다는 결론으로 이어집니다.


