tau2-bench

고객 응대처럼 사용자·도구와 상호작용하는 AI agent의 능력을 재기 위해 Sierra가 만든 benchmark다.

기사 1편최근 언급

tau2-bench(τ²-bench)는 AI agent가 사용자와 대화하면서 도구(tool)를 호출해 과제를 수행하는 능력을 평가하는 benchmark다. 미국 AI 스타트업 Sierra가 2024년 공개한 τ-bench의 후속으로 2025년 공개했으며, 항공, 소매(retail), 통신 같은 고객 응대 영역에서 정해진 정책 규칙을 지키며 사용자 요청을 처리하는 과제로 구성된다.

사용자 역할은 언어 모델이 시뮬레이션하며, 사용자 쪽도 도구를 조작할 수 있어 agent가 사용자에게 절차를 안내해야 하는 양방향 상황을 다룬다는 점이 τ-bench와 다르다. 같은 과제를 여러 번 반복해 모두 성공하는 비율로 안정성을 재며, agent의 도구 사용과 규칙 준수 능력을 비교하는 데 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • prompt 부채 정리와 cache 설계로 Claude 비용 최대 72.9% 절감AI 활용 ·

    tau2-bench(retail) -72.9% +2.0%p

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.