AI agent(사람 대신 작업을 수행하는 AI)의 성능을 끌어올리는 길은 크게 두 갈래입니다. 모델은 그대로 두고 prompt(모델에 주는 지시문)와 예시를 다듬는 방법, 그리고 모델의 가중치를 fine-tuning(이미 학습한 모델을 특정 작업에 맞게 더 학습시키는 방법)하는 방법입니다. 결론부터 말하면 prompt 쪽은 적은 실행 횟수로 빠르게 효과를 내고, 가중치 쪽은 데이터가 많을수록 성능이 계속 오릅니다. 그래서 둘 중 무엇이 더 나은지를 따지기보다, 가진 데이터의 양과 모델에 접근할 수 있는 범위에 따라 순서를 정하는 문제로 보는 편이 맞아 보입니다.

좋은 prompt는 직관으로 맞히기 어렵습니다

Google의 PaLM 2-L-IT 모델에 수학 문제를 풀게 하면서 문제 뒤에 붙이는 문구만 바꿔 정확도를 잰 결과가 있습니다.

문제 뒤에 붙인 영어 문구의 뜻 정확도
단계별로 생각해 보자 71.8%
심호흡을 하고 이 문제를 단계별로 풀어 보자 80.2%
수리 능력과 명료한 사고를 합쳐 빠르고 정확하게 답을 찾아내자 74.5%

이 셋을 보여 주고 가장 좋을 문구를 고르게 했을 때 선택은 거의 3분의 1씩 갈렸습니다. 실제로는 심호흡을 하라는 두 번째 문구가 가장 높았습니다. 어떤 문구가 통하는지는 모델마다 다르고 직관과도 어긋나므로, 평가를 돌려 보지 않고는 알 수 없습니다.

여기서 말하는 최적화는 문구를 손으로 이리저리 고치는 일이 아닙니다. 데이터와 평가 지표로 원하는 바를 정해 두고, 그 기준에 맞춰 시스템을 체계적으로 개선하는 과정입니다.

최적화가 이득이 되는 조건

최적화에는 세 가지가 동시에 있어야 합니다. 하나라도 빠지면 성립하지 않습니다.

  • 데이터: 학습 데이터, agent의 작업 기록, 입력과 출력 예시, 사람의 피드백
  • 시스템 또는 모델: 언어 모델, 여러 단계를 엮은 workflow, agent 구조
  • 평가와 지표: 정답 일치, 통과율, LLM을 심사자로 쓰는 채점, 비용과 지연 시간

모델이 빠르게 좋아지는데도 최적화가 필요한 이유는 last-mile 문제에 있습니다. 범용 모델은 넓은 일반 능력에 맞춰 학습되지만, 실제 업무는 특정 분야의 세세한 요구에 맞아야 합니다. 이메일에서 일정을 뽑아 달력에 넣는 작업을 예로 들면, prompt에는 "날짜와 시간을 추출하라"고만 쓰기 쉽습니다. 그러나 실제 의도에는 한 메일에 일정이 여러 개인 경우, 시간대 표기, ISO 표준 형식 준수가 모두 들어 있습니다. 이런 요구는 지시문 한 편보다 평가 묶음이 더 정확하게 담아냅니다.

모델이 똑똑해질수록 문구를 손으로 만질 필요는 줄겠지만, 평가를 정의하고 그에 맞춰 자동으로 조정하는 일은 계속 남을 것으로 보입니다. 이렇게 하면 반복 업무의 오류가 줄고, 작고 싼 모델이 큰 모델 수준의 품질을 내 비용과 지연 시간이 줄어듭니다. 기반 모델을 새 세대로 바꿀 때도 같은 평가 묶음으로 최적화를 다시 돌리면 됩니다.

prompt 최적화: 가중치는 건드리지 않습니다

예시를 고르고 만들어 넣기

few-shot(지시문에 입력과 정답 예시 몇 개를 함께 넣는 방식)은 가중치를 바꾸지 않고 모델의 동작을 유도합니다. 2022년의 한 연구는 같은 예시라도 넣는 순서에 따라 결과가 크게 달라진다는 점을 보였습니다. 정답 라벨 없이 모델 출력이 한 답으로 쏠리는지만 측정해 순서를 골라도, 무작위 순서보다 정확도가 8% 넘게 오르는 경우가 있었습니다. 다만 최근에는 순서보다 어떤 예시를 고르고 풀이 과정을 어떻게 확보하느냐가 더 중요해졌습니다.

예시에 풀이 과정이 없으면 모델이 직접 만들게 합니다. STaR는 모델에게 풀이와 답을 쓰게 한 뒤 정답과 일치한 것만 남기고, 틀리면 정답을 힌트로 주어 풀이를 다시 쓰게 합니다. 이렇게 모은 풀이로 모델을 fine-tuning합니다. DSPy는 같은 선별을 가중치 학습 없이 처리합니다. 지표를 통과한 풀이만 모아 두고, 그중 몇 개를 뽑아 prompt에 넣는 조합을 여러 개 시험해 가장 좋은 것을 고릅니다. 수학 문제 benchmark(성능 비교 시험)인 GSM8K에서 이 방식은 사람이 직접 쓴 풀이 예시를 앞서는 경우가 많았습니다.

모델이 지시문을 고쳐 쓰게 하기

실행하고, 결과를 되짚고, 더 나은 지시문을 쓰게 하는 방식입니다. 주요 기법은 네 가지입니다.

  • OPRO: 과거 지시문과 그 점수를 함께 보여 주고 더 높은 점수를 낼 새 지시문을 쓰게 합니다. 앞의 80.2% 문구가 이렇게 발견됐습니다.
  • MIPROv2: 지시문과 예시 묶음을 함께 최적화합니다. 성공한 실행만 예시로 모으고, 프로그램 코드와 학습 데이터 요약을 근거로 지시문 후보를 만든 뒤, Bayesian 탐색으로 좋은 조합을 찾습니다. 작은 묶음으로 자주 평가하고 주기적으로 전체 평가를 돌려 우연한 점수 상승을 걸러냅니다.
  • TextGrad: 최종 출력에 대한 자연어 비평을 파이프라인의 앞 단계로 거꾸로 전달해 각 단계의 prompt를 고칩니다. 한 추론 과제에서 정확도가 77.8%에서 91.9%로 올랐습니다.
  • GEPA: prompt 후보를 진화시킵니다. 여러 과제에서 채점한 뒤, 다른 후보에게 모든 과제에서 밀리지는 않는 후보(Pareto frontier)만 남깁니다. 남은 후보의 실패 원인을 모델이 분석해 고쳐 쓰거나, 서로 다른 후보의 단계별 prompt를 합쳐 새 후보를 만들고, 평가 예산이 다할 때까지 반복합니다.

GEPA를 적용한 사례로 PAPILLON이 있습니다. 사회보장번호 같은 민감 정보가 든 질문을 로컬 모델이 일반화해 외부 API 모델에 보내고, 돌아온 답을 다시 합치는 구조입니다. 기본 prompt의 점수는 82.26이었는데, 개인정보 보호 전략을 넓힌 후보가 87.76, 출력 형식을 구조화한 후보가 94.44, 엄격한 절차를 담은 후보가 97.83까지 올랐습니다. 여러 benchmark를 합산하면 GPT-4.1 Mini 기준선 대비 GEPA는 12.19점, 단계별 prompt 합치기를 더한 GEPA는 13.33점 높았습니다. MIPROv2도 여전히 효과가 있지만, 지시를 잘 따르는 최신 모델에서는 GEPA나 TextGrad 같은 되짚기 방식이 더 나은 prompt를 찾는 것으로 보입니다.

주의할 점도 있습니다. 최적화 과정에서 모델이 지표의 허점을 파고드는 지름길을 찾아낼 수 있습니다. 답만 맞고 풀이가 엉터리인 경우를 막으려면 LLM이 풀이의 타당성을 채점하도록 지표에 넣어야 합니다. 지시문 후보를 만들 때 검증용 데이터를 보여 주면 데이터 유출이 됩니다. 상용 API처럼 출력이 매번 달라지는 환경에서는 여러 번 실행해 평균을 봐야 합니다.

아래 카드 한 장에서 여러 갈래로 뻗어 올라가는 종이 카드 나무

▲ prompt 후보의 진화 과정

가중치 학습: 데이터가 많을수록 힘을 냅니다

교사 모델의 작업 기록으로 학습시키기

개념이 단순하면서 실무에서 가장 널리 쓰이는 방법 가운데 하나가 지도 학습 fine-tuning입니다. 능력 있는 교사 모델에게 agent 과제를 시키고, 성공한 작업 기록 전체를 학생 모델이 학습합니다. 큰 모델의 능력을 작은 모델로 옮기는 distillation의 한 형태입니다.

OpenThoughts-Agent는 과제 수집과 선별, 교사 모델 실행, 기록 선별, 학습으로 이어지는 6단계 데이터 파이프라인을 씁니다. 학습 데이터를 316건에서 10만 건으로 늘리자 SWE-bench Verified와 Terminal-Bench 2.0 점수가 꾸준히 올랐습니다. FireAct는 GPT-4가 여러 추론 방식으로 푼 정답 기록으로 LLaMA-2-13B를 학습시켜 34.4%를 기록했고, prompt만 준 GPT-3.5의 31.4%를 넘었습니다.

교사 모델은 가장 강한 것이 항상 정답은 아닙니다. 능력 차이가 너무 크면 학생 모델이 교사의 방식을 받아들이지 못해 결과가 나빠질 수 있고, 규모가 가까운 교사가 더 잘 가르치는 경우가 많습니다.

강화학습과 GRPO

강화학습은 학생 모델이 직접 과제를 수행하고 성공 여부에 따라 보상을 받아 가중치를 고칩니다. 핵심 조건은 보상을 검증할 수 있느냐입니다. 코딩 과제의 단위 테스트처럼 결과가 명확히 판정되는 신호가 가장 좋고, 그럴 수 없을 때만 LLM을 심사자로 씁니다.

기존 방식인 PPO와 DeepSeekMath 연구에서 나온 GRPO의 차이는 비용에서 드러납니다.

항목 PPO GRPO
메모리에 올리는 모델 4개 3개
매 단계 학습하는 모델 2개 1개
잘한 정도를 재는 방법 가치 모델이 token(모델이 글을 처리하는 단위)마다 예측 한 prompt에 여러 답을 뽑아 보상의 평균과 표준편차로 비교
학습 2,400단계 시점의 MATH 정확도 약 50~53.5% 약 55.5%

GRPO는 가치 모델을 없애고도 더 높은 정확도를 냈습니다. DeepSeek-R1은 강화학습과 지도 학습을 번갈아 쓰는 방식으로 만들어졌습니다. 역할 분담은 이렇습니다. 지도 학습은 기본 추론 패턴과 출력 형식을 잡아 주고, 최소한의 능력이 생긴 뒤에는 강화학습이 복잡한 환경에서의 학습을 맡습니다. 가르칠 교사가 없는 최전선 모델에는 강화학습이 꼭 필요하지만, 지도 학습 결과가 더 좋다면 그대로 쓰는 편이 낫습니다.

on-policy distillation

지도 학습은 교사의 풀이만 따라 하므로 학생 모델이 자기 실수에서 회복하는 법을 배우지 못합니다. 강화학습은 틀리면 0점만 받을 뿐 어디서 틀렸는지 알려 주지 않습니다. on-policy distillation은 학생 모델이 직접 쓴 답을 교사가 token 단위로 채점해 두 약점을 함께 메웁니다. 단, 교사의 내부 확률을 볼 수 있는 공개 가중치 모델이어야 합니다.

Qwen3 사례 AIME'24 GPQA-Diamond GPU 시간
강화학습 67.6% 61.3% 17,920시간
on-policy distillation 74.4% 63.3% 1,800시간

교사의 기록만 따라 배우는 기존 distillation은 각각 55.0%, 55.6%였습니다. 좋은 교사 모델이 있다면 강화학습보다 이 방법이 비용 대비 효과가 큰 것으로 보입니다.

작은 로봇이 나열한 블록 중 잘못 놓인 하나를 큰 로봇이 가리키는 모습

▲ 답안을 단계별로 짚는 교사

agent가 최적화를 직접 맡는 흐름

  • Darwin Gödel Machine: agent가 자기 실행 코드를 스스로 고칩니다. 과거 버전을 보관해 두고 여러 갈래에서 다시 출발하게 해, SWE-bench 점수가 반복할수록 올랐습니다.
  • Meta-Harness: agent가 실행 로그를 읽고 harness(agent를 감싸는 실행 코드)를 다시 씁니다. TerminalBench-2 통과율 37.6%로 Claude Code 기준선 27.5%를 넘었습니다.
  • Auto-Research: Andrej Karpathy가 알린 방식입니다. agent가 코드를 고치고 학습을 돌린 뒤, 지표가 좋아지면 변경을 남기고 나빠지면 되돌립니다. NanoGPT 계열 학습 스크립트를 최적화한 사례에서 83번의 실험 가운데 15건이 채택됐습니다.

agent가 어떤 소프트웨어든 최적화할 수 있게 되면, 무엇을 기준으로 채점하느냐가 가장 큰 병목이 됩니다.

정리: 무엇부터 할지 정하는 기준

GEPA 연구에서 prompt 최적화는 HotpotQA와 IFBench에서 수백 번의 실행 안에 수렴했고, GRPO 같은 강화학습보다 표본 효율이 훨씬 높았습니다. 반대로 OpenThoughts-Agent는 가중치 학습이 데이터를 많이 요구하지만 학습 예시가 수천 건 이상이면 잘 확장된다는 점을 보였습니다. 데이터가 아직 많지 않다면 prompt 최적화에서 시작하는 편이 합리적으로 보입니다.

상황 먼저 쓸 방법
API로만 쓸 수 있는 비공개 모델 prompt 최적화
매일 가볍고 빠르게 다시 최적화해야 함 prompt 최적화
환경에서 한 번 실행하는 비용이 큼 prompt 최적화
작은 모델이 복잡한 지시를 따르지 못함 가중치 학습
큰 교사 모델을 싼 학생 모델로 옮기려 함 가중치 학습
prompt가 계속 길어져 입력이 비대해짐 가중치 학습

두 방법을 번갈아 적용하는 BetterTogether는 한쪽만 쓸 때보다 높은 결과를 냈으므로, 둘은 하나만 골라야 하는 선택지가 아닙니다. 실무에서는 다음 순서를 권합니다.

  1. 자동 평가 지표부터 만듭니다. 정답 일치, 통과율, LLM 심사 가운데 과제에 맞는 것을 고릅니다.
  2. prompt는 감으로 고르지 말고 평가 데이터로 여러 후보를 시험합니다.
  3. 데이터가 수천 건 이상 쌓이고 위 표의 가중치 학습 조건에 해당하면 fine-tuning을 검토합니다. 교사는 학생과 규모가 가까운 모델을 고릅니다.
  4. 강화학습을 쓴다면 검증 가능한 보상을 먼저 확보하고, 메모리가 빠듯하면 GRPO를 택합니다.