tau2-bench

ユーザーやツールとやり取りしながら顧客対応を行うAIエージェントの能力を測るためにSierraが作ったベンチマーク。

記事1本最終言及

tau2-bench(τ²-bench)は、AIエージェントがユーザーと対話しながらツールを呼び出してタスクを遂行する能力を評価するベンチマークである。米国のAIスタートアップSierraが2024年に公開したτ-benchの後継として2025年に公開したもので、航空、小売、通信といった顧客対応領域で、定められたポリシーに従いながらユーザーの要望を処理するタスクで構成される。

ユーザー役は言語モデルがシミュレーションし、ユーザー側もツールを操作できるため、エージェントがユーザーに手順を案内しなければならない双方向の状況を扱う点がτ-benchと異なる。同じタスクを複数回繰り返してすべて成功する割合で安定性を測り、エージェントのツール使用能力とルール遵守能力を比較する目的で広く使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • フロンティアモデルの隠れコストを削る3つの修正、プロンプト負債・キャッシュ・評価AI活用 ·

    tau2-bench(小売) -72.9% +2.0ポイント

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。