OSWorld
OSWorld是评估AI智能体在真实计算机环境中操作应用、完成任务能力的基准测试。
3篇文章
最近提及 OSWorld是香港大学等机构的研究人员于2024年发布的基准测试，用于评估AI智能体观察计算机屏幕、操作应用并完成任务的能力。它在Ubuntu、Windows、macOS等真实操作系统环境中执行任务并检验结果，与静态问答或仅限网页环境的评测不同，涵盖跨多个应用的桌面任务。后续版本包括检查并修正了任务和评测环境的OSWorld-Verified以及OSWorld-v2。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
涉及该条目的文章
在针对桌面任务的AutomationBench和OSWorld测试中，它的准确率达到72.6%，平均每项任务用时40分钟，而此前的模型平均需要75分钟。
这款270亿参数模型在五项计算机操作基准测试中的四项排名第一，在OSWorld-v2上的单任务API成本约为$1.46。