OSWorld
OSWorldは、実際のコンピューター環境でアプリを操作してタスクをこなすAIエージェントの能力を測るベンチマーク。
記事3本
最終言及 OSWorldは、香港大学などの研究チームが2024年に公開したベンチマークである。AIエージェントがコンピューター画面を見てアプリを操作し、課題を完了できるかを、Ubuntu、Windows、macOSといった実際のOS環境で評価する。静的な質問応答やウェブに限った評価とは異なり、複数のアプリにまたがるデスクトップ作業の結果を検証する。課題と評価環境を点検・修正したOSWorld-Verifiedや、後継のOSWorld-v2がある。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
デスクトップ作業を対象としたAutomationBenchとOSWorldのテストでは、正解率72.6%を達成し、1つの課題にかかった時間は平均40分でした。
270億パラメータのこのモデルは、コンピューター操作のベンチマーク5件中4件で首位となり、OSWorld-v2ではタスク当たりのAPIコストが約$1.46でした。