tau2-bench

由Sierra开发、用于衡量AI智能体在与用户和工具交互的客服任务中表现的基准测试。

1篇文章最近提及

tau2-bench(τ²-bench)是一项评估AI智能体在与用户对话并调用工具完成任务方面能力的基准测试。它由美国AI初创公司Sierra于2025年发布,是其2024年发布的τ-bench的后续版本,由航空、零售、电信等客服领域的任务组成,智能体需在遵守既定政策规则的前提下处理用户请求。

用户角色由语言模型模拟,且用户一方也可以操作工具,因此该基准涵盖智能体需引导用户完成操作步骤的双向场景,这是它与τ-bench的区别。基准通过多次重复同一任务并统计全部成功的比例来衡量稳定性,被广泛用于比较智能体的工具使用能力和规则遵循能力。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 前沿模型降本提质:提示词审计、缓存与评测三步法AI应用 ·

    tau2-bench(零售) -72.9% +2.0分

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。