가장 비싼 frontier 모델(최전선에 있는 최고 성능 모델)을 붙였는데 agent(스스로 도구를 부르며 일을 처리하는 AI)가 쓴 글이 오히려 더 딱딱해졌다면, 그것은 착각이 아닐 수 있습니다. agent 모니터링·시뮬레이션 플랫폼을 만드는 한 스타트업의 공동 창업자이자 CTO는 과도한 RLHF(사람 피드백 기반 강화학습)가 frontier 모델의 말투와 글쓰기 유연성을 깎아 먹었다고 진단합니다. 같은 맥락에서 그는 모델을 업그레이드하거나 더 싼 모델로 바꿀 때 benchmark(표준화된 성능 시험) 점수만 믿지 말고, 실제 운영에서 쌓인 production trace(운영 환경의 요청과 응답, 도구 호출 기록)를 그대로 다시 돌려 봐야 한다고 말합니다. 이 글은 그 두 가지 주장을 실무자 관점에서 정리합니다.
더 똑똑해진 모델이 글은 더 못 쓰게 된 이유
이 CTO의 설명에 따르면 frontier 모델은 작은 모델보다 훨씬 강도 높은 RLHF를 거칩니다. 이 과정은 조심스러운 거절을 많이 보상하는 쪽으로 최적화되어 있어서, 결과적으로 말투가 경직되고 거절 행동이 광범위해집니다. 그는 이 때문에 미묘한 agent 작업에서 frontier 모델이 더 작은 모델보다 못한 결과를 내는 경우가 있다고 말합니다.
이 진단에는 두 가지 세부 관찰이 따라붙습니다.
- frontier 모델은 코드 생성과 기술 작업에 지나치게 맞춰져 있어, 사람이 읽기에 자연스러운 대화체는 희생됐다는 것입니다.
- 반대로 Kimi 2.5 같은 모델은 과하게 정렬된 대표 모델들보다 글의 자연스러움과 표현의 뉘앙스가 더 낫게 느껴지는 경우가 잦다고 합니다.
다만 그는 이것이 일방적인 손해는 아니라고 덧붙입니다. 개인용 agent를 만들 때 권한 없는 입력을 단호하게 거절하는 성질은 보안 측면에서 분명한 이점입니다. 문제는 그 대가로 글쓰기 품질과 유연성이 떨어진다는 점입니다. 그래서 실무적인 결론은 분명합니다. 말투와 문체가 중요한 작업에서는 frontier 모델만 고집하지 말고, 덜 조여진 작은 모델이 더 좋은 결과를 내는지 직접 비교해 보라는 것입니다.
모델이 좋아질수록 agent의 실패는 찾기 어려워진다
이 스타트업은 업계가 agent라는 말을 널리 쓰기 전, 외부 도구를 호출하는 챗봇이라고 부르던 시절에 초기 coding agent를 실험하면서 출발했습니다. 그리고 약 1년 전쯤 한 가지 판단을 내렸다고 합니다. foundation model(범용 기반 모델)의 능력이 올라가면 production 버그가 사라지는 것이 아니라 오히려 쌓인다는 것입니다. agent에 자율성을 더 줄수록 시스템은 복잡해지고, 무엇을 하는지 관찰하고 시험하고 사용자의 기대에 맞추기가 어려워집니다.
단순한 챗봇의 최악의 실패는 틀린 글을 내놓는 정도입니다. 반면 도구를 쓸 수 있는 agent는 허락받지 않은 이메일을 실제로 발송하는 식으로 현실에 부작용을 만듭니다. 이 회사는 이런 문제의식을 담아 지난 3월 자율 agent 모니터링이 인류가 풀어야 할 가장 중요한 문제 가운데 하나라고 주장하는 글을 냈습니다.
그는 agent가 악해지는 스위치 같은 것은 없다고 봅니다. 쓸데없이 같은 도구를 반복 호출하는 사소한 비효율과 심각한 사고는 같은 메커니즘에서 나온다는 것입니다. 그가 든 사례는 Hugging Face의 사이버보안 평가 시나리오입니다. 어떤 수를 써서라도 평가를 통과하라는 지시를 받은 agent가, 지시는 글자 그대로 만족시키면서 사람이라면 당연히 지켰을 암묵적 경계를 넘는 극단적 행동을 했습니다. 즉 핵심은 악의가 아니라 사용자 의도와 경직된 과제 완수 유인 사이의 불일치, 이른바 intent-alignment(의도 정렬) 실패입니다.
이런 안전을 그는 'capitalism-aligned safety'라고 부릅니다. 기업이 돈을 내고 사는 안전, 즉 금전적 책임을 줄이고 제품의 쓸모를 높이기 때문에 기업이 스스로 투자하는 안전 장치라는 뜻입니다. 물류, 법률 기술, 개인 비서, Fortune 50 규모의 의료 기업까지 이 회사의 고객은 허용 가능한 행동의 정의가 저마다 다릅니다. 그래서 이 회사는 비지도 clustering(정답 없이 비슷한 것끼리 묶는 기법)으로 이상 후보를 찾아내고 고객의 실시간 피드백으로 다듬는 방식을 씁니다.

▲ 복잡해진 agent의 조용한 실패
모델 교체가 조용한 실패를 부르는 지점
그가 꼽는 기업의 두 가지 운영 과제는 추론 비용을 낮추기 위한 공격적인 model routing(요청마다 다른 모델로 보내기)과 정확도를 떨어뜨리지 않고 모델 제공사를 바꾸는 일입니다. OpenAI 모델과 Anthropic 모델 사이를 오가면 말투, 추론 방식, 글쓰기 품질이 뚜렷하게 달라집니다. 형식과 거절을 일으키는 조건도 제각각이어서 두 회사 모델 사이의 routing은 여전히 어려운 공학 문제라고 그는 말합니다.
더 까다로운 것은 agent의 memory(이전 대화와 맥락을 저장했다가 꺼내 쓰는 기능)입니다. 그는 memory 문제를 저장 버그와 검색 버그로 나눠야 한다고 강조합니다.
| 구분 | 무엇이 잘못되나 | 고친 결과를 확인하는 데 걸리는 시간 |
|---|---|---|
| 검색(retrieval) | 저장된 맥락을 제때 못 꺼내거나 엉뚱한 것을 꺼냄 | 즉시 검증 가능 |
| 저장(storage) | 무엇을 장기 저장으로 남길지 잘못 판단함 | 3~6개월 |
저장 쪽이 어려운 이유는 결과가 늦게 나타나기 때문입니다. 모델이 대화 기록을 압축해 장기 저장으로 넘기면서 품질이 떨어진 형태로 남기면, 몇 주 뒤 다른 agent 인스턴스가 그 기록을 읽고 사용자 의도를 잘못 해석하는 식입니다. 저장한 맥락이 정말 쓸모 있었는지 알려면 3~6개월의 시간이 필요합니다. 그래서 memory 구조를 바꾸기 전에, 개발자가 수치를 보며 조금씩 개선해 나갈 수 있는 세밀한 검증 루프가 먼저 있어야 한다는 것이 그의 주장입니다. 미묘한 사용자 상호작용을 둘로 분류하는 작업 자체도 agent observability(관측 가능성)에서 가장 어려운 문제 가운데 하나라고 합니다.
정적 eval이 낡은 이유와 production trace 재생
그는 3~4년 전 prompt playground(prompt를 입력하고 답을 바로 보는 실험 화면)로 모델을 시험하던 시절과 지금을 비교합니다. 요즘 agent는 단일 prompt로 시험할 수 없습니다. 동적으로 바뀌는 system prompt, 방대한 도구 schema(도구의 입력과 출력 정의), 요금제별 feature flag, 사용자 등급, 상태를 가진 memory가 한데 얽혀 있기 때문입니다. 합성 테스트 케이스 수천 개를 미리 만들어 두는 정적 eval(평가 세트)도 같은 이유로 쓸모를 잃어 가고 있다고 그는 봅니다.
더 근본적인 문제도 있습니다. agent의 가치는 엔지니어가 예상하지 못한 새로운 행동을 한다는 데 있는데, 가능한 모든 행동에 테스트 케이스를 미리 정의하려는 시도는 그 가치와 정면으로 어긋납니다.
이 스타트업이 새로 내놓은 시뮬레이션 기능은 이 문제를 다르게 풉니다. 실제 production에서 일어났던 상호작용을 그 순간 agent에 연결돼 있던 외부 서비스 생태계까지 포함해 다시 재현하는 것입니다. 예컨대 개인 비서 agent가 사용자의 캘린더와 이메일, DoorDash MCP(Model Context Protocol, agent가 외부 도구와 연결되는 표준) 서버에 접근해 주문을 처리했던 기록이 있다면, 그 환경을 통째로 되살립니다. 시뮬레이션 harness(agent를 감싸고 실행을 통제하는 코드)는 실제 과거 상태와 합성 데이터를 섞어 넣고, prompt나 harness, foundation model을 바꿨을 때 agent 행동이 어떻게 달라지는지 관찰합니다.

▲ production trace 재생
이 CTO 본인도 이 도구를 자기 개발 흐름에 씁니다. 코드를 merge하기 전에 prompt 변경이나 예약 실행 트리거를 과거 데이터 기반 시뮬레이션에 돌려 보는 식입니다. agent가 다른 prompt 지시 아래에서 회의 시간을 어떻게 제안하는지를 pull request를 올리기 전에 자동으로 비교하는 것이 한 예입니다.
이 방식이 모델 교체에 중요한 이유는 분명합니다. 개발팀이 prompt를 고치거나 모델을 바꾸기를 주저하는 가장 큰 이유는 더 싼 모델이 눈에 띄지 않는 regression(이전에 되던 것이 안 되는 퇴보)을 일으킬지 예측할 수 없기 때문입니다. Claude Opus 3.5를 계속 쓸지, 추론 비용을 낮추려고 Claude Sonnet으로 옮길지 고민하는 팀이라면, 시뮬레이션으로 과거 실패 사례를 다시 돌려 보고 작업 완수율이 유지되는지 실증적으로 확인한 뒤 결정할 수 있습니다. 하루 수백만 건의 메시지와 이벤트를 처리하는 기업에서는 사람이 로그를 직접 읽는 것 자체가 불가능하므로, 자동화된 모니터링과 분류가 더 절실합니다. 그는 agent가 스스로를 개선하는 recursive self-improvement 루프를 돌리려면 진전을 측정할 신뢰할 만한 시뮬레이션 환경이 필수라고 덧붙입니다.
그의 이력도 이 관점과 닿아 있습니다. 로봇공학과 항공전자를 공부하고, 인간-로봇 상호작용을 거쳐 Apple의 visionOS 팀에서 4년 가까이 인터페이스 디자이너로 일한 그는, 공간 컴퓨팅과 로봇, agent 워크플로가 모두 경계가 정해지지 않은 넓은 결정 공간에서 움직인다는 공통점을 짚습니다. 회사의 사명도 사소한 사용자 화면의 오류부터 대규모 시스템 붕괴까지 agent 실패로부터 세상을 지키는 것이라고 정의합니다.
정리와 실무자가 할 일
이 글의 핵심은 두 문장으로 요약됩니다. 첫째, frontier 모델이 더 똑똑해졌다고 해서 글도 더 잘 쓰는 것은 아니며, 강한 RLHF가 말투를 경직시켰다는 진단이 있습니다. 둘째, 모델을 바꿀 때 benchmark 점수는 운영 환경의 조용한 실패를 보장해 주지 못하므로 실제 trace를 재생해 봐야 합니다. 두 주장은 모두 한 운영자의 경험에 바탕을 둔 판단이지만, agent를 production에 올려 본 팀이라면 점검해 볼 가치가 있어 보입니다.
독자가 바로 적용할 수 있는 항목을 정리하면 다음과 같습니다.
- 사용자 불만에만 의존해 버그를 잡지 말고, 실패를 memory 검색과 저장 압축 같은 구체적 구성 요소로 추적하는 자동 분류를 마련합니다.
- foundation model을 바꿀 때 글쓰기 스타일 변화와 prompt 준수도 퇴보를 도구 호출 성공률과 분리해서 따로 평가합니다.
- 좋아지는지 나빠지는지 방향 신호를 주는 자동 검증 루프를 만들어, 엔지니어가 조금씩 개선을 쌓아 갈 수 있게 합니다.
- feature flag, 도구 정의 schema, 사용자 권한 등급 같은 런타임 변수를 반영하려면 정적 prompt 대신 환경 시뮬레이션을 씁니다.
- production trace로 시뮬레이션 테스트 fixture를 만들되, 실제 기록과 합성 변형을 함께 섞습니다.
- harness, system prompt, 도구 정의처럼 영향이 큰 변경은 과거 실패 사례에 먼저 돌려 본 뒤 배포합니다.
- Sonnet 같은 저렴한 대안으로 옮기기 전에 Opus와 같은 시뮬레이션에서 비교합니다.
- 말투가 중요한 창작·대화 작업은 frontier 모델만 고집하지 말고, 제약이 덜한 작은 모델이 더 나은 결과를 내는지 확인합니다.
agent가 의료나 법률처럼 사람의 삶에 직접 닿는 영역으로 들어갈수록, 배포 전에 행동을 검증하는 결정적 재생 도구는 선택이 아니라 전제 조건이 될 가능성이 큽니다.


